技术摘要：
本发明公开了一种融合前景紧凑特性和多环境信息的绝缘子缺陷检测方法，首先对采集的原始绝缘子图像用超像素特征描述指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗略显著区域，同时剔除绝缘子粗略显著区域部分背景噪声，最后采用特征紧凑性衡量绝缘子图  全部
背景技术：
绝缘子是高压电线连接塔上挂一种盘状的绝缘体，作用是增加爬电距  离，使带电 部件绝缘，并起到机械支撑与定位作用，作为输电线路的重要组  成部分，对整个输电线路 的作用是可想而知的，但由于绝缘子在输电线路中  数量多，分布广，长期处于恶劣的野外 环境中，容易发生绝缘子自爆、污秽、  破损和裂纹等故障，对输电线路的安全稳定运行造成 了极大的威胁，因此在  输电线路巡检中特别注意绝缘子的工作状态，传统的巡检方式有人 工巡检，  直升机巡检，这种方式不仅工作强度大，效率低，而且容易造成漏检、误检  现象， 如何对绝缘子进行高效的巡检已经成为现阶段研究的重点问题？ 随着机器视觉、人工智能迅猛发展，一种新型的绝缘子巡检方式基于融  合前景紧 凑性特征和多环境信息的绝缘子缺陷检测应运而生。这种巡检方式  首先利用无人机拍摄 背景复杂的绝缘子图像，其次通过4G网络传送到客户  端，最后利用图像识别技术进行复杂 环境下绝缘子的缺陷检测。
技术实现要素：
本发明的目的是提供一种融合前景紧凑特性和多环境信息的绝缘子缺 陷检测方 法，解决了现有技术中存在的复杂环境下绝缘子检测精度低的问  题。 本发明所采用的技术方案是，融合前景紧凑特性和多环境信息的绝缘子  缺陷检 测方法，具体按照以下步骤实施： 步骤1、采集原始绝缘子图像，首先对采集的原始绝缘子图像用超像素  特征描述 指定区域位置的特征信息，然后采用模块化方法提取得到绝缘子粗 略显著区域，同时剔除 绝缘子粗略显著区域部分背景噪声，最后采用特征紧  凑性衡量绝缘子图像中各区域特征 的显著性，进而得到绝缘子各区域显著特 征图像； 步骤2、对步骤1获得的绝缘子各区域显著特征图像送入区域网络  Region  Net，得 到整个绝缘子的显著特征区域图像； 步骤3、对步骤2获得的整个绝缘子显著特征区域图像送入多环境网络  Multi- Context  Net，通过补充Region  Net网络中缺少的全局显著性评价，得  到整个绝缘子准确 的显著特征图像； 步骤4、对步骤3获得整个绝缘子准确的显著特征图像采用准确率-召回  率 precision  recall-PR曲线、F-measure和平均绝对误差man  absolute error-MAE的值进行 评价，快速检测出绝缘子是否有缺陷。 本发明的特点还在于， 步骤1具体按照以下步骤实施： 8 CN 111583171 A 说　明　书 2/13 页 步骤1.1、首先采用多尺度方法将绝缘子图像分成不同的层进而得到绝  缘子的多 层图，然后采用超像素算法SLIC，将每层图像分解为不同的超像  素，得到绝缘子各个区域 的超像素特征图像； 步骤1.2、通过对绝缘子各个区域超像素特征图像进行梯度平滑使区域  模块化， 得到绝缘子区域结构化特征图像； 步骤1.3、计算显著区域紧凑性，进而得到绝缘子各区域的紧凑性图像； 步骤1.4、计算绝缘子各区域特征的颜色属性，进而得到绝缘子各区域  的颜色特 征图像； 由步骤1.1、1.2、1.3、1.4得到绝缘子的各区域显著特征图像。 步骤1.2中对绝缘子各个区域超像素特征图像采用梯度平滑方法完成区  域模块 化处理，计算方法如式(1)所示： 式(1)中T表示模块化后的区域的数量，IP表示输入图像I中第p个超  像素的灰度 值，SP表示平均化后的结构图像，λ表示图像的平滑系数，λ越  大表示图像越平滑，ε为趋于0 的正数，Dx(p)表示第p个超像素在x轴方向上 的区域之间的距离，Dy(p)表示第p个超像素在 y轴方向上的区域之间的距  离，Lx(p)表示第p个超像素在x轴方向的区域，Ly(p)表示第p个 超像素在  y轴方向的区域； 其中，Dx(p)和Dy(p)由式(2)计算得到： 式(2)中，R(p)表示以第p个超像素为中心的矩形区域，gp,g为加权函  数，g表示超 像素p的参数，SP表示平均化后的结构图像， 表示x轴方向 上的平滑系数， 表示y轴方向 的平滑系数； 其中，加权函数gp,g由式(3)计算得到： 式(3)中，xp表示第p个超像素在x轴方向上的点，xq表示第q个超像  素在x轴方向上 的点，yp表示第p个超像在y轴方向上的点，yq表示第q个  超像素在y轴方向上的点，δ表示第p 个超像素在x轴上的方差； 运用公式(1)、(2)和(3)进行区域模块化，进而把相同区域汇聚  在一起得到绝缘 子区域结构化特征图像。 步骤1.3具体如下： 步骤1.3.1、对所述步骤1.2得到的绝缘子区域结构化特征图像采用一组  6维的特 9 CN 111583171 A 说　明　书 3/13 页 征向量S代表超像素的特征，如式(4)所示： S＝[I′x,I′y,I″xx,I″yy,fx,fy]   (4) 式(4)中，x表示超像素在水平方向上的点，y表示超像素在竖直方向  上的点，I′x 表示水平上灰度值的一阶导数、I′y表示竖直方向上灰度值的一阶  导数，I″xx表示水平上灰 度值的二阶导数，代表水平方向上的纹理特征、I″yy表  示竖直方向上灰度值的二阶导数，代 表竖直方向上的纹理特征，f是调节纹 理特征与空间位置特征的权重比例参数； 步骤1.3.2、根据显著性增强的回归模型方法对每个超像素建立6×6维 的方差矩 阵∑，如式(5)所示： σbc表示每个超像素的协方差，其中，b表示每个超像素在x轴方向上的  点，b＝ 1...6，c表示每个超像素在y轴方向的点，c＝1...6； 步骤1.3.3、分别采用纹理和局部熵信息检测区域紧凑性信息，对于纹理  采用局 部二元模式LBP的直方图计算纹理特征，纹理特征和局部熵信息分  别由 和 表示： 计算超像素与多层图之间的权重 具体计算如公式(6)所示： 式(6)中，ξe ,k表示纹理特征权重，ξl ,k表示局部熵权重，dB表示直方  图的纹理特 征， 表示第l层第k个超像素在i这一点的纹理特征， 表示  第m层第k个超像素在j这一 点的纹理特征， 表示第l层第k个超像素在i  这一点的局部熵， 表示第m层第k个超像 素在j这一点的局部熵； 直方图的纹理特征dB定义如式(7)所示： 式(7)中，n表示直方图的数量，z表示纹理特征系数变量， 表示  第l层第k个超 像素在i这一点的纹理特征， 表示第m层第k个超像素在  j这一点的纹理特征； 局部熵特征 是在每个像素点的领域中按照式(8)进行计算： 式(8)中，H用于归一化局部熵信息，Hk(i)表示第k个超像素在i这  一点的归一化 局部熵信息； 绝缘子的区域紧凑性图像由超像素特征、方差矩阵、权重和直方图纹理  特征因素 10 CN 111583171 A 说　明　书 4/13 页 决定，所以在绝缘子缺陷检测中的区域紧凑性计算部分，通过调节  公式(4)中的超像素特 征的参数、公式(5)中方差矩阵的参数、公式(6) 中权重的参数、公式(7)中直方图纹理特征 的参数和公式(8)中局部熵特 征的的参数，联合得到绝缘子的区域紧凑性图像。 步骤1.4具体如下： 步骤1.4.1、采用高斯混合模型GMM聚类图像颜色，每个像素颜色表示  为具有属于 某个颜色属性的若干个高斯模型的加权组合，并由式(9)给出： 式(9)中，a表示颜色属性的类别，wa表示颜色属性为a的高斯模型的  权重，μ表示 整个颜色属性的特征，∑a表示颜色属性为a的协方差矩阵，μa表示颜色属性为a的特征，Ix表 示x轴方向上的灰度值； 步骤1.4.2、测量颜色属性的空间方差： 计算颜色属性的水平空间方差Vh(a)，如式(10)所示： 其中， 式(10)、(11)中，ph表示超像素p的水平坐标，|X|a＝P(a|Ix)表  示图像中颜色属性 为a的概率，Mh(a)表示水平方向颜色属性为a的系数； 整个图像中颜色属性的空间变化定义为式(12)： Vg(a)＝VV(a) Vh(a)   (12) 式(12)中，Vg(a)表示整个图像中颜色属性为a的方差，VV(a)表示垂  直空间方差， 计算方法与水平空间方差相似，Vh(a)表示水平空间方差； 通过式(13)计算图像中像素的颜色显著度CF： 其中，P(a|IX)表示颜色属性为a的概率，D(a)表示不同颜色属性之间的  距离，N表 示直方图的数量； 对于所有颜色属性，范围标准化为[0,1]，需要对每个颜色属性进行中心  加权归 一化项； 由于绝缘子显著特征区域图像由颜色属性高斯模型、水平空间方差、竖  直空间方 差和颜色显著度因素共同决定，所以通过调节公式(9)的颜色属  性高斯模型中的参数，调 节公式(10)、(11)和(12)中的颜色属性的水  平空间方差、竖直空间方的参数，调节公式 (13)中的颜色显著度参数，联 合得到绝缘子显著区域特征图像。 11 CN 111583171 A 说　明　书 5/13 页 步骤2具体如下： 步骤2.1、将所述步骤1.3得到的绝缘子区域紧凑性特征图像和步骤1.4  得到的绝 缘子颜色属性特征图像分别送入区域网络Region  Net中，生成具有  相同大小的图像区域 掩模，然后下采样16次，并送入RoI模型，得到RoI 区域的绝缘子显著区域特征图像； 步骤2.2、将得到的RoI区域的绝缘子显著区域特征图像，采用Region  Net网络的 池化层操作对每一个区域网络Region  Net中的特征按设定比例的 比率进行聚合，进而得 到绝缘子的整个显著特征图像； 步骤2.3、采用边界增强损失，损失函数Lf(W,wf)表示如下： 在式(14)中，wf表示第f级预测熔合绝缘体区域的分类器参数，Y 表  示前景标签 集，Y-背景标签集，Pr(yj＝1|X；W,wf)∈[0,1]用于表示置信度，并将  测量像素概率的融合 预测用于前景，Pr(yj＝0|X；W,wf)∈[0,1]用于表示置信度，并  将测量像素概率的融合预测 用于背景，e＝|Y |/|Y|表示前景与整个图像的比值，  X表示模糊图像的参数，W表示清晰图 像的参数； 对于l级的预测，损失函数表示为： 其中，wl用于表示第l级预测融合绝缘体区域的分类器参数，θl表示第l级  预测分 类器的角度参数； 由(14)和(15)可得预测的综合函数为： 式(16)中，αf表示损失权重以平衡f层的损失项，αl表示损失权  重以平衡l层的损 失项，设置al＝αf＝1； 采用随机梯度下降SGD计算最优参数，计算公式如下所示： (W*,θ*,w*)＝argminL(W,θ,w)   (17) W表示清晰图像的参数，w表示分类器的参数，θ表示分类器的角度参  数，W*表示清 晰图像的最优参数，θ*表示分类器的最优角度参数，w*表示 分类器的最优参数； 通过调节公式(14)中的第f级损失函数各个参数、公式(15)中的第  l级损失函数 参数、以及公式(16)中的预测综合函数各个参数，对绝缘子 图像进行融合预测得到整个绝 缘子显著特征区域图像。 步骤3具体如下： 12 CN 111583171 A 说　明　书 6/13 页 步骤3.1、计算显著性概率 如式(18)所示： 式(18)中， 表示多环境网络Multi-Context  Net输出特征， 表示  区域网络 Region-Net的输出特征，m表示超像素的显著性，若属于显著区  域时，m＝1，若属于背景区 域时，m＝0，θ1表示显著区域的角度参数； 步骤3.2、在最后一个网络层中采用最小化结果和真值标签之间的最大  损失，将 步骤3.1得到的绝缘子显著区域特征和背景区域特征进行准确分类， 公式如式(19)所示： 式(19)中，θj＝{φgc ,j ,φlc ,j ,γ ,β}，其中，φgc ,j在模型中表示多环境网络  Multi-Context  Net建模的权重参数，φlc,j在模型中表示区域网Region-net建模 的权重 参数， 表示在第i点的特征概率，γ表示区域网络  Region  Net权重比 例系数，M表示点的数量，β表示多环境(Multi-Context  Ne)  权重比例系数， 表示多环境 网络在第i这点的输出特征， 表示区域网络  在第i这点的输出特征； 通过调节公式(18)中的显著性概率各个参数、公式(19)中的最大损  失各个参数， 进而得到绝缘子图像显著特征和背景特征的概率，然后把绝缘  子图像进行准确分类，从而 检测出绝缘子的缺陷； 由于原始图像较大，所以在公式(1)-(19)中使用原图像的1/8作为  输入图像，进 而生成绝缘子显著图像； 将每个分支的步幅分别设置为4,2,1 ,1，因此所有分支的输出具有相同的  维度， 其学习组合权重以生成显著的映射，再通过完全卷积层将FS、FC融合  获得最终的绝缘子显 著图像SF，计算公式如式(20)所示： SF＝Fusion(FS,FC)   (20) 式(20)中，FS表示原图经过区域网络Region  Net得到的准确的显著区  域图像，FC 表示粗略显著区域经过区域网络Region  Net得到准确的显著区域 图像。 本发明的有益效果是，一种融合前景紧凑特性和多环境信息的绝缘子缺  陷检测 方法，能够准确快速的检测出复杂环境下绝缘子的缺陷，更好地提取  绝缘子的整体信息并 确定其边界，准确检测出有缺陷的绝缘子，能够有效抑  制背景亮斑干扰。显著性检测是模 仿人类的视觉注意机制，广泛应用于对感  兴趣目标的浏览、内容感知、图像分割以及图像 编辑等方面。 附图说明 图1(a)是本发明一种基于融合前景紧凑性特征和多环境信息的绝缘缺 陷检测方 法中采用原图； 13 CN 111583171 A 说　明　书 7/13 页 图1(b)是DSR算法在复杂环境下绝缘子缺陷检测的效果图； 图1(c)是RBD算法在复杂环境下绝缘子缺陷检测的效果图； 图1(d)是CA算法在复杂环境下绝缘子缺陷检测的效果图； 图1(e)是本发明在复杂环境下基于融合前景紧凑性特征和多环境信息 的绝缘缺 陷检测方法的效果图； 图2(a)是不同算法的ROC曲线特征图； 图2(b)是不同算法的ROC曲线特征图； 图3本发明流程图。