
技术摘要:
本发明涉及一种基于编解码器结构实现钓鱼行为检测处理的方法,包括从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺寸归一化处理;每个区块图像输入到目标检测神经网络检测是否包含人像;对检测到人像的区块图像输入到编解码结构的语义分割网络进行 全部
背景技术:
供电部门通常采用在靠近电力线路的水塘边安装视频监控设备,然后对视频监控 图像进行智能分析,当图像智能分析系统检测到钓鱼行为时输出告警信号。 由于监控摄像头的监控景深、光照条件、监控图像背景复杂等因素,基于常规图像 处理技术的智能视频分析系统对钓鱼行为的检测精度往往不高。 基于深度神经网络的目标检测技术应用于钓鱼行为检测是目前研究的热点,但是 基于长方形边界框(Bounding Box)的目标检测网络如Fast-RCNN、YOLO等深度网络结构比 较适合于检测紧凑的目标(如人、车等),不适合检测边界框中具有低填充率的线状物体。由 于钓鱼竿比较细长,在Bounding Box中占有极小的面积,使用Fast-RCNN、YOLO等深度神经 网络进行目标检测时,依然不能很好地处理这种外观线索不多的具有强先验结构的目标, 其对钓鱼竿的检测精度仍然不高,容易引起漏检和误检。
技术实现要素:
本发明的目的是克服了上述现有技术的缺点,提供了一种满足检测精度高、操作 简便、适用范围较为广泛的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义 分割网络系统。 为了实现上述目的,本发明的基于编解码器结构实现钓鱼行为检测处理的方法及 相应的语义分割网络系统如下: 该基于编解码器结构实现钓鱼行为检测处理的方法,其主要特点是,所述的方法 包括以下步骤: (1)从视频监控系统中每隔一定时间抓取一幅高清图像并进行9个区块分割和尺 寸归一化处理; (2)每个区块图像输入到目标检测神经网络检测是否包含人像; (3)对检测到人像的区块图像输入到编解码结构的语义分割网络进行鱼竿的语义 分割检测; (4)判断是否有区块图像检测到像素级分割的鱼竿且与人像的检测框存在重叠, 如果是,则继续步骤(5);否则,继续步骤(1); (5)判断存在的钓鱼行为,继续步骤(1)。 较佳地,所述的步骤(1)具体包括以下步骤: (1 .1)从视频监控系统中每隔一定时间抓取一幅高清图像,分别按照行列方向进 行9个区域的分割; 4 CN 111583265 A 说 明 书 2/7 页 (1.2)将边界分割区域重叠划入相邻区块图像,将分割后的9个区块图像进行尺寸 缩放归一化处理。 较佳地,所述的步骤(1.2)中统一区块图像大小为512×512像素。 较佳地,所述的步骤(2)具体包括以下步骤: (2.1)将每个区块图像输入到目标检测深度神经网络检测是否包含人像,丢弃没 有检测到人像的区块图像; (2.2)如果9个区块图像均未检测到人像,则返回步骤(1)继续抓取图像;如果区块 图像检测到人像,则记下人像的检测矩形框坐标,继续步骤(3)。 较佳地,所述的步骤(3)具体包括以下步骤: (3.1)将检测到人像的区块图像输入到基于编解码结构的语义分割网络,进行鱼 竿的语义分割检测; (3.2)判断区块图像是否检测到鱼竿,如果9个区块图像均未检测到鱼竿,则返回 步骤(1)继续抓取图像;如果区块图像检测到鱼竿,则输出包含鱼竿的所有像素点坐标,继 续步骤(4)。 较佳地,所述的步骤(4)具体包括以下步骤: (4.1)对像素级分割出的鱼竿和检测到人像的矩形框进行重叠分析; (4.2)判断落在人像的矩形框内的鱼竿像素点的数目是否大于阈值T,则存在钓鱼 行为,继续步骤(5);否则,没有钓鱼行为,继续判断其余区块图像; (4.3)如果9个区块图像均未检测到钓鱼行为,则整幅图像没有检测到钓鱼行为, 返回步骤(1)继续抓取图像进行检测。 较佳地,所述的步骤(5)具体为: 如果9个区块图像的任一区块图像检测到钓鱼行为,则整幅图像就判断为存在钓 鱼行为,检测后继续步骤(1),继续抓取图像进行检测。 该用于实现上述的方法的基于编解码器结构的语义分割网络系统,其主要特点 是,所述的系统包括: 编码器网络,包括输入层、第一卷积层、第二卷积层、第三卷积层和第四卷积层,所 述的输入层、第一卷积层、第二卷积层、第三卷积层和第四卷积层依次相连接,用于从原始 图像提取特征; 解码器网络,包括空洞卷积层、空间卷积层、第一反卷积层、第二反卷积层和输出 层,所述的空洞卷积层、空间卷积层、第一反卷积层、第二反卷积层和输出层依次相连接;所 述的空洞卷积层的输入端与第四卷积层的输出端相连接。 较佳地,所述的第一卷积层、第二卷积层、第三卷积层和第四卷积层均由卷积核为 3×3且步长为1的卷积通过批归一化、ReLU函数变换和最大值池化组成。 较佳地,所述的第一卷积层、第二卷积层和第三卷积层的下采样倍数为2,第四卷 积层的下采样倍数为1。 较佳地,所述的空洞卷积层为卷积核为3×3且扩张率为2的空洞卷积,用于增大特 征图感受野。 较佳地,所述的空间卷积层对空洞卷积层输出的特征图按通道数分成切片,并对 每个切片分别按照特征图行和列进行从上到下、从下到上、从左到右和从右到左的卷积叠 5 CN 111583265 A 说 明 书 3/7 页 加,输出和空洞卷积层一样大小的特征图。 较佳地,所述的第一反卷积层采用卷积核为4×4且步长为2的卷积,其输出上采样 倍数为2。 较佳地,所述的第二反卷积层采用卷积核为16×16且步长为4的卷积,其输出上采 样倍数为4。 较佳地,所述的输出层经过1×1卷积核的变换后生成原始图像大小的二值语义分 割图像,输出像素级的鱼竿二值图像。 采用了本发明的基于编解码器结构实现钓鱼行为检测处理的方法及相应的语义 分割网络系统,将空间卷积神经网络(Spatial CNN)应用于编解码结构的语义分割网络,使 得“钓鱼竿”这种具有长距离连续形状的强先验空间信息能够在高层语义网络层的同层神 经元上传播,比使用一般的卷积神经网络更能有效地识别“钓鱼竿”这种结构化对象,同时 在解码器网络中使用一层空洞卷积层代替一般卷积层,又增大了特征图的感受野,从而进 一步增强对长距离上下文信息的捕获。另外针对“钓鱼竿”细长且在图像中面积占比小的特 点,如果直接对原始高清图像进行尺寸压缩后再处理极有可能会导致“钓鱼竿”像素点消 失,本发明将原始高清图像分割成9幅区块图像进行分批检测,进一步减小了对钓鱼行为的 漏检。最后本发明将检测到的像素级“钓鱼竿”区域与检测到的“人”的矩形框区域进行重叠 分析,这样也进一步减小了对钓鱼行为的误检。 附图说明 图1为本发明的基于编解码器结构实现钓鱼行为检测处理的方法的流程图。 图2为本发明的基于编解码器结构的语义分割网络系统的组成框图。