技术摘要：
本发明提供一种基于深度学习与NEO‑6M定位模块的路面裂缝检测与定位的方法，包括：基于路面视频流提取路面图像关键帧并进行图像预处理；提出一种基于深度学习的路面裂缝检测方法，通过训练检测模型，实现路面裂缝分类与图像中定位；利用定位模块与单片机采集路面视频流  全部
背景技术：
在道路服役过程中，由于外部环境、长期荷载以及材料性质等原因，路面会出现许 多病害特征，极大地降低了路面的使用性能，缩短道路使用寿命。其中裂缝是道路表面最常 见的病害之一，也是威胁道路安全状况的主要因素之一，因此加强路面裂缝的检查和养护 尤为重要。 目前的路面裂缝检测技术可以分为两大类，一类是基于图像处理技术的成形的道 路检测系统，另一类是单独的路面裂缝检测技术。 国内外所研究的基于可移动设备的裂缝检查系统一般为前后侧安装激光或CCD线 扫描相机的承载车、检查车等，通过在道路表面上移动来采集图像信息，获取图像信息以 后，再通过图像信息处理模块进行分析，得到道路表面损伤信息。但是，上述提到的各类车 载设备造价昂贵，维护成本很大，这些系统的图像处理子系统几乎都采用传统的图像识别 算法，都是使用人工提取特征的方式来进行图像识别的，检测速度很慢且不准确。 现有的路面裂缝检测技术中，传统的图像处理方法对较明显的裂缝检测效果较 好，但由于裂缝具有多样性，形状和强弱都不固定，传统方法并不能很好的提取裂缝信息， 且会造成过大的计算量；纹理分析方法只适用于裂缝发生区域，需要结合其他方法才能识 别路面裂缝；基于模糊集的方法不能系统性的识别检测路面裂缝，可靠性和准确性有待提 高；神经网络的方法只被应用于裂缝的后期分类，前期特征提取依然需要较大工作量。按照 上述方法来检测路面裂缝，在系统完善性、通用性、精确性等方面存在明显不足。因此为满 足我国道路建设的需要，急需开发更高效、更稳定、更智能的路面裂缝检测技术和方法。 深度学习的代表网络结构卷积层，利用了生物学中视觉神经工作的原理，低层抽 取特征，高层形成语义。随着深度学习的广泛应用，基于深度学习的目标检测算法得到了极 大发展。由于无需进行人工的特征设计、良好的特征表达能力以及优良的检测精度，目前， 基于深度学习的目标检测算法已经超越传统检测方法，成为当前目标检测算法的主流。因 此，本文发明专利涉及一种基于深度学习与NEO-6M定位模块的路面裂缝检测与定位的方 法，基于路面裂缝图像数据量大，裂缝分类较多，特征复杂，噪声环境较强等特点，利用深度 学习结合GPS模块的方法为实现路面裂缝的快速高效检测与定位作一探索和尝试。
技术实现要素：
本发明要解决的技术问题是提供一种基于深度学习与NEO-6M定位模块的路面裂 缝检测与定位的方法，以解决传统路面裂缝检测方法所存在的处理速度慢，检测效率低，以 及现有的道路检测车造价昂贵，养护成本高的问题。 3 CN 111598845 A 说　明　书 2/5 页 为解决上述技术问题，本发明提供如下技术方案： 一种基于深度学习与NEO-6M定位模块的路面裂缝检测与定位的方法，该方法包 括： 步骤1：将图像采集设备安装在移动设备上，在设备移动过程中拍摄包含路面情况 的视频流，通过抽帧截取与提取关键帧获得路面图像； 步骤2：对采集到的路面图像依次进行灰度化，增强和去噪三个步骤的预处理，减 少信息量，增强路面裂缝特征以及去除干扰噪声； 步骤3：将路面图像分为横向裂缝、纵向裂缝、块状裂缝、龟裂与正常路面五类进行 标注，获得路面图像数据集，训练基于深度学习的路面裂缝检测模型，实现路面裂缝的识别 与分类； 步骤4：利用NEO-6M定位模块与单片机采集待检测路面视频流的GPS轨迹信息，利 用插值算法将GPS轨迹信息与待检测路面视频流逐帧对应，建立数据库，测试时若检测到裂 缝存在，则调用数据库，一并输出路面裂缝所属类别与地理位置信息。 进一步地，所述步骤1中的抽帧截取包括： 确定路面视频流采集设备在整个路面视频流采集过程中的平均移动速度； 确定路面视频流的拍摄画面中可清晰显示路面情况的范围的真实距离； 计算出所述路面视频流采集设备移动出所述真实距离所需的移动时间，以所述移 动时间为帧间间隔时间，对所述路面视频流进行抽帧截取。 进一步地，所述步骤1中的提取关键帧包括： 通过帧间差分法对抽帧截取后的帧图像中的两帧图像做差分运算； 根据运算结果，选择具有平均帧间差分强度局部最大值的帧作为关键帧。 进一步地，所述步骤2中的图像增强与去噪方法的选择需要考虑到以下因素，包 括： 增强路面图像的清晰度，改善由于摄像机抖动、光照不均等因素造成的图像视觉 感官质量下降； 去除路面图像中出现的孤立噪声点及多余信息，突出裂缝的特征信息，并且不能 削弱或模糊裂缝的边缘信息； 进一步地，所述步骤3中的基于深度学习的路面裂缝检测模型的构建过程包括: 对经过所述步骤1和所述步骤2处理的路面图像使用标注软件，按照横向裂缝、纵 向裂缝、块状裂缝、龟裂与正常路面五类进行标注，得到每张路面图像对应的裂缝区域以及 裂缝类别。 对标注结果进行统计，确保四类裂缝样本数量相近，将五类样本按照预设比例组 成路面图像数据集。并将路面图像数据集按照比例分为训练集与测试集。 构建基于深度学习的路面裂缝检测模型，将训练集输入构建的路面裂缝检测模型 中进行训练，通过改变训练集中五类样本的比例，调整模型迭代次数，获得路面裂缝检测模 型的最佳权重。 载入最佳权重，将测试集批量输入路面裂缝检测模型，调整输出只输出四类裂缝 的检测结果，不输出正常路面检测结果，最终得到整个测试集的检测结果，包括路面图像中 裂缝的有无，裂缝所属类别以及裂缝检测框的坐标信息。 4 CN 111598845 A 说　明　书 3/5 页 进一步地，所述步骤4中采集待检测路面视频流的GPS轨迹信息，具体过程包括： 将NEO-6M定位模块安装在移动设备上，确保NEO-6M定位模块可以接收到卫星信 号，确保视频拍摄与GPS信息采集同时开始。 将NEO-6M定位模块与单片机串口连接，将模块采集到的位置信息发送给单片机， 利用单片机解析并提取需要的GPS信息，对单片机编程，将最终的GPS信息发送给电脑。 利用“串口助手”软件，在电脑窗口显示单片机发送的GPS信息。 保存电脑端接收到的视频流对应的所有GPS信息，按照与路面图像同样的采集频 率对GPS信息进行插值，使得每一帧路面图像都有对应的GPS信息。 将路面图像按照顺序命名，并将GPS信息按同样顺序导入数据库。 若检测出某张路面图像存在裂缝，则按照该路面图像名称调用数据库中对应顺序 的GPS信息。 本发明的上述技术方案的有益效果如下： 本发明提供了一种基于深度学习与NEO-6M定位模块的路面裂缝检测与定位的方 法，以移动设备为载体，利用大容量的存储设备拍摄采集路面情况，将基于深度学习的目标 检测方法结合数字图像处理等技术应用于路面裂缝的智能提取，并结合数据库实现GPS信 息的存储与调用实现路面裂缝定位。从而实现路面裂缝检测的自动化、智能化，获得比人工 排查以及传统裂缝检测方法更好的结果。 附图说明 图1为本发明提供的基于深度学习与NEO-6M定位模块的路面裂缝检测与定位的方 法流程示意图； 图2为路面图像进行预处理后的效果图； 图3为采用本发明中的基于yolov3的路面裂缝检测模型对路面图像进行检测的效 果图； 图4为本发明中的路面裂缝定位模块的硬件结构框图。