
技术摘要:
本发明公开了一种面向大坝缺陷图像的目标检测方法,步骤为:将可变形卷积用于VGG16网络,增大卷积感受范围,通过学习卷积偏移量来捕捉大坝缺陷的形变特征,得到缺陷图像的特征图;在进行多尺度特征图检测时,修改锚点机制中先验框尺寸比例,提高条形缺陷特征的检测精度 全部
背景技术:
建筑工程领域将工程施工质量中不符合规定要求的检验项或检验点定义为缺陷, 随着水电站大坝的长期运行,材料老化、环境影响等原因导致了不同程度缺陷的形成。当缺 陷程度较轻时,尚可采取相应的措施对缺陷进行及时地处理,达到结构的承载要求,一旦缺 陷没有得到及时地处理与补救,将对大坝安全运行造成重大威胁。因此,采用自动巡检设备 对缺陷进行及时的检测与排查能够有效维护大坝的结构安全。 一直以来目标检测使用的公开数据集往往种类特征固定,因此在进行特征提取 时,通常采用固定大小的感受范围对特征进行卷积。由于缺陷生成的不确定性,根据成因和 环境的改变,缺陷几何形状多变,这对于特征提取的难度也相应增大。SSD中采用的传统的 卷积方式进行特征提取,这对于几何形状固定的样本而言是有效的,对于缺陷数据集而言 无法适应缺陷未知的几何形变,因此存在一定的局限性。
技术实现要素:
发明目的:为了克服现有技术中存在的问题,本发明提供一种面向大坝缺陷图像 的目标检测方法,采用可变形卷积提取特征的目标检测算法不仅能够实现高效检测,同时 能够精准识别并检测出几何形状多变的大坝缺陷。 技术方案:为实现上述目的,本发明提供一种面向大坝缺陷图像的目标检测方法, 包括如下步骤: (1)针对大坝缺陷几何形变的特征,将可变形卷积应用于单阶段目标检测器SSD 中,将其主干网络VGG16中的卷积改进为可变形卷积,增大卷积感受范围,通过学习卷积偏 移量来捕捉大坝缺陷的形变特征; (2)在多尺度特征图检测阶段,针对大坝中“裂缝”缺陷的条形特征,改进了锚点机 制中的预选框尺寸比例,提高条形特征的检测精度与模型的泛化能力; (3)训练过程中采用改进非极大值抑制方法,在筛减冗余样本的同时,采用仅删减 负样本的方法,保证训练样本的多样性。 进一步的,所述采用可变形卷积VGG16网络进行缺陷特征提取的具体步骤如下: (1.1)输入原始图片,记为U,其中设置的batch为b; (1.2)原始图片batch经过一个普通卷积,卷积填充为same,即输出输入大小不变, 对应的输出结果为原图片batch中每个像素的偏移量,在可变形卷积中,R通过偏移量{Δpn |n=1,…,N}来增大感受的范围,其中,N=|R|,卷积后像素值: 4 CN 111597941 A 说 明 书 2/6 页 此时,采样的卷积核由不规则的R组成,距卷积核中心位置偏移量为pn Δpn,原先 标准的卷积过程被分为两路,上面一路学习偏移量,得到H×W×2N个输出偏移量,N=|R|表 示卷积核中的像素个数,2N代表两个垂直方向的偏移量; (1 .3)将U中图片的像素索引值与V相加,得到偏移后的坐标(即在原始图片U中的 坐标值),需要将坐标值限定为图片大小以内,将浮点类型的坐标值获取像素; (1 .4)偏移量Δpn的计算的结果往往是一个高精度的小数,非整数的坐标无法在 图像这种离散型的数据上使用,如果采用简单的取整方法会有一定程度的误差,从而x(p0 pn Δpn)处的像素值需通过双线性差值来计算,即通过寻找距离坐标最近的四个像素点来 计算该点的像素值。将x(p)=x(p0 pn Δpn)简化为: 其中,x(q)表示相邻四个整数坐标处的像素值,G(·,·)为p相邻四个整数点对应 的权值参数: (1.5)计算坐标值对应的所有像素后,得到新的特征图,并将新的特征图作为输入 数据输入到下一层中。 进一步的,所述采用改进预选框的尺寸比例进行多尺度特征图检测的具体步骤如 下: (2.1)为特征图中每个像素单元设置尺度不同的先验框,随着特征图尺寸的减小, 先验框的尺寸线性增加: 其中,m为特征图的个数,由于在主干网络中的卷积层单独设置先验框大小,smax与 smin表示基于特征图尺寸比例的最大值和最小值; (2.2)为特征图中每个像素单元设置长宽比不同的先验框,对于大坝中的裂缝等 条形缺陷,原有先验框的长宽比不足以将缺陷完整地标注出来,将先验框长宽比设定为 (2.3)按照以下公式计算先验框的实际宽度与高度: 为了保证目标检测的精确度和先验框覆盖的完整性,每个特征图另外设置一个尺 寸为 长宽比为1的先验框,即每个特征图都设置了两个长宽比均为1而尺寸不 同的先验框,因此实际设定的先验框长宽比为 每个像素单元的先验框 中心点分布在各个单元的中心,即 其中|fk|为特征图的大 5 CN 111597941 A 说 明 书 3/6 页 小; (2.4)每个像素点的每个先验框输出两个部分的值,分别对应预测框位置和该先 验框中各个类别的置信度评分。预测框位置包含4个值(cx,cy,w,h),分别表示预测框的中 心坐标以及宽高。置信度值代表了该先验框中的目标对应各个类别的可能性,若检测目标 共有c个类别,则需要预测c 1个置信度值,其中第一个置信度指的是不含目标或者属于背 景的评分。 进一步的,所述内容在训练过程中采用改进非极大值抑制方法均衡正负样本的具 体步骤如下: (3.1)对于本发明的缺陷数据集而言,每张图片中的真实目标非常少,而先验框非 常多。因此,从先验框出发,若先验框与真实目标的IoU比值大于0.5,则该先验框被列为正 样本,否则为负样本,对所有负样本先验框的置信度进行降序排序,选取置信度最小的负样 本; (3.2)遍历其余负样本先验框,如果和当前得分最低的先验框的重叠面积大于阈 值0.5,就将此负样本先验框删除; (3.3)从未处理的负样本先验框中选取置信度最低的,重复上述步骤,仅删减负样 本,相比传统NMS,在删除冗余先验框的前提下,增加了样本训练的多样性。 本发明选用轻量级的单阶段目标检测算法SSD作为基础框架,合理地分析大坝缺 陷的特征,针对性地对特征提取阶段的VGG16网络进行改进,增加了处理几何变换的中间机 制,扩大卷积感受范围,通过学习卷积偏移量来捕捉缺陷的形变特征。 本发明对SSD进行了特征提取的改进,将可变形卷积应用于SSD的主干网络VGG16, 增大卷积感受范围,对于几何形状多变的特征提供了更机动的特征提取机制,使得在高效 率检测的情况下进一步提升目标的检测精度。 有益效果:本发明与现有技术相比具有以下优点: 1 .可变形卷积作为VGG16网络处理几何变换的中间机制,提升了模型的空间信息 建模能力,对于处理几何形状不固定的缺陷特征在目标检测的精度上有更好的表现力。 2.通过改进先验框长宽比为 对于条形缺陷能够更准确地定位 与检测,提高了条形特征的检测精度与模型的泛化能力。 3.在训练过程中,采用改进的非极大值抑制算法不仅可以缓解正负样本不均衡的 问题,同时仅删减负样本,一定程度上增大了样本训练量,优化了学习效果。 附图说明 图1为具体实施例中大坝缺陷示意图; 图2为具体实施例中缺陷图像目标检测算法总体框架图; 图3为具体实施例中VGG16特征提取网络框架示意图; 图4为具体实施例中可变形卷积框架示意图; 图5为具体实施例中可变形卷积扩大感受范围示意图; 图6为改进先验框长宽比示意图; 图7为具体实施例中缺陷图像目标检测结果示意图。 6 CN 111597941 A 说 明 书 4/6 页