logo好方法网

一种物流包裹检测方法、装置、设备及可读存储介质


技术摘要:
本发明公开了一种物流包裹检测方法,包括:采集位于分拣传送带上的包裹的图像;将图像中的每个坐标的X坐标值构成的第一数据矩阵和Y坐标值构成的第二数据矩阵,以及图像的灰度值融合为图像的图像信息;通过预设的检测模型对图像信息进行处理,获得图像信息中包含的目标  全部
背景技术:
近年来,随着电子商务和人工智能技术的飞速发展,物流产业迎来了爆  发式增 长。由此催生出众多应用于物流场景的自动化、智能化系统。物流包  裹自动分拣系统以分 拣作业基本流程为基础,集成图像识别、自动控制、数  据通信等物联网核心技术,实现了快 递包裹的规范化、标准化、智能化分拣。  有效提升了快递分拣效率和质量,推动了物流供应 链智慧化升级。 图1为一种物流包裹分拣系统,包括:供包台、包裹检测相机、条码识  别相机、多个 分拣口和分拣传送带;其中分拣传送带由台车和风琴板连接构  成,每两个台车通过风琴板 相连。该物流包裹分拣系统的工作流程为:工作  人员整理好包裹,使其面单朝上放置,送上 供包台,当有空的台车时,将供  包台上的包裹送上分拣传送带,面单即包含物流信息和识 别条码的物流单。  当包裹被分拣传送带运送至包裹检测相机位置时,包裹检测相机检测包 裹在  分拣传送带上的位置,以便确定包裹所处的位置是否便于条码识别相机扫描;  当包 裹被分拣传送带运送至条码识别相机位置时,条码识别相机扫描包裹的  条码,以确定当前 包裹被运送至哪个分拣口。 可见,包裹检测相机的主要作用为:确定包裹在分拣传送带上的位置, 以便确定 包裹所处的位置是否需要调整。在现有的包裹检测相机中,一般采  用传统的目标检测算法 来确定包裹的位置,然而由于传统的目标检测算法依  赖于人工设计的图像特征(灰度、色 彩、纹理等),导致其对于图像特征的  表达能力有所欠缺;同时,传统的目标检测算法仅以 图像的灰度值作为图像 的图像信息,欠缺对于图像的位置信息的表达能力,导致传统目标 检测算法 的检测精度和准确度有所降低。因此若将传统目标检测算法应用于包裹检测  相 机,那么包裹检测相机检测到的包裹的位置信息的准确度将不足,如此便  可能导致包裹被 运送至错误的分拣口。 因此,如何提高物流包裹在分拣传送带上的位置检测精度,是本领域技  术人员需 要解决的问题。
技术实现要素:
本发明的目的在于提供一种物流包裹检测方法、装置、设备及可读存储  介质,以 提高物流包裹在分拣传送带上的位置检测精度。 为实现上述目的,本发明实施例提供了如下技术方案: 一种物流包裹检测方法,包括: 采集位于分拣传送带上的包裹的图像; 将所述图像中的每个坐标的X坐标值构成的第一数据矩阵和Y坐标值构  成的第二 4 CN 111597857 A 说 明 书 2/9 页 数据矩阵,以及所述图像的灰度值融合为所述图像的图像信息; 通过预设的检测模型对所述图像信息进行处理,获得所述图像信息中包  含的目 标的类别,以及覆盖每个目标的边界框的位置信息;其中,所述图像  信息中包含的目标至 少包括:包裹和风琴板。 其中,所述检测模型的训练步骤包括: 获取训练图像,并通过卷积层和残差网络层提取所述训练图像的两个尺  度的特 征; 通过特征处理层融合提取到的特征并解析,得到解析结果; 根据所述解析结果确定所述训练图像的检测结果,所述检测结果为:所  述训练图 像中包含的目标的检测类别,以及覆盖每个目标的边界框的检测位  置信息; 通过预设的损失函数判断所述检测结果和所述训练图像的标注信息的差  异是否 符合预设的条件,所述标注信息为所述训练图像包含的每个目标的真  实类别和覆盖每个 目标的边界框的真实位置信息; 若是,则所述检测模型训练完成; 其中,所述残差网络层由不同尺度的多个网络子层按照尺度大小从大到  小排列 组成,所述残差网络层中的最后两个网络子层分别输出所述训练图像 的两个尺度的特征。 其中,所述通过特征处理层融合提取到的特征并解析,得到解析结果,  包括: 对所述残差网络层中的倒数第一个网络子层输出的第一特征进行卷积并  上采 样,得到与所述残差网络层中的倒数第二个网络子层输出的第二特征尺  度相同的目标特 征; 对所述目标特征和所述第二特征进行连接并卷积,得到第一向量; 对所述第一特征进行卷积,并用向量表示卷积结果,得到第二向量; 解析所述第一向量和所述第二向量,得到所述解析结果。 其中,还包括: 根据所述检测结果和所述标注信息的差异预设所述损失函数,所述检测  结果和 所述标注信息的差异至少包括:覆盖同一目标的边界框的位置误差,  覆盖同一目标的边界 框中有无目标的置信度误差,以及同一目标的类别误差。 其中,所述获取训练图像之后,还包括: 利用xml文件记录所述训练图像的标注信息。 其中,所述将所述图像中的每个坐标的X坐标值构成的第一数据矩阵和  Y坐标值 构成的第二数据矩阵,以及所述图像的灰度值融合为所述图像的图  像信息之前,还包括: 对所述图像进行预处理,并将预处理后的图像转换为灰度图像。 其中,所述通过预设的检测模型对所述图像信息进行处理,获得所述图  像信息中 包含的目标的类别,以及覆盖每个目标的边界框的位置信息之后,  还包括: 根据所述图像中覆盖包裹的边界框的位置信息确定是否需要调整包裹的 位置。 一种物流包裹检测装置,包括: 采集模块,用于采集位于包裹分拣传送带上的包裹的图像; 融合模块,用于将所述图像中的每个坐标的X坐标值构成的第一数据矩 阵和Y坐 标值构成的第二数据矩阵,以及所述图像的灰度值融合为所述图像 的图像信息; 5 CN 111597857 A 说 明 书 3/9 页 检测模块,用于通过预设的检测模型对所述图像信息进行处理,获得所  述图像信 息中包含的目标的类别,以及覆盖每个目标的边界框的位置信息;  其中,所述图像信息中 包含的目标至少包括:包裹和风琴板。 一种物流包裹检测设备,包括: 存储器,用于存储计算机程序; 处理器,用于执行所述计算机程序时实现上述任意一项所述的物流包裹  检测方 法的步骤。 一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算  机程序被 处理器执行时实现上述任意一项所述的物流包裹检测方法的步骤。 通过以上方案可知,本发明实施例提供的一种物流包裹检测方法,包括:  采集位 于分拣传送带上的包裹的图像;将所述图像中的每个坐标的X坐标值  构成的第一数据矩阵 和Y坐标值构成的第二数据矩阵,以及所述图像的灰度  值融合为所述图像的图像信息;通 过预设的检测模型对所述图像信息进行处 理,获得所述图像信息中包含的目标的类别,以 及覆盖每个目标的边界框的  位置信息;其中,所述图像信息中包含的目标至少包括:包裹 和风琴板。 可见,所述方法对于采集到的位于分拣传送带上的包裹的图像,首先将 图像中的 每个坐标的X坐标值构成的第一数据矩阵和Y坐标值构成的第二数  据矩阵,以及图像的灰 度值融合为图像的图像信息,即:将图像的位置信息  嵌入图像信息,以便于确定图像中目 标的位置信息。进一步地,通过预设的  检测模型对包含坐标信息的图像信息进行处理,获 得图像信息中包含的目标 的类别,以及覆盖每个目标的边界框的位置信息;其中,图像信 息中包含的  目标至少包括:包裹和风琴板。如此便可以确定出图像中的每个目标的边界  框的位置信息,也就是每个目标的位置信息,即检测得到了物流包裹在分拣  传送带上的位 置信息,而由于检测过程中添加了图像的坐标信息,因此提高  了物流包裹在分拣传送带上 的位置的检测精度,能够提高包裹分拣的准确率。 相应地,本发明实施例提供的一种物流包裹检测装置、设备及可读存储  介质,也 同样具有上述技术效果。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实  施例或 现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面  描述中的附图仅仅是 本发明的一些实施例,对于本领域普通技术人员来讲,  在不付出创造性劳动的前提下,还 可以根据这些附图获得其他的附图。 图1为本发明实施例公开的一种物流包裹分拣系统示意图; 图2为本发明实施例公开的一种物流包裹检测方法流程图; 图3为本发明实施例公开的一种检测模型训练方法流程图; 图4为本发明实施例公开的一种物流包裹检测装置示意图; 图5为本发明实施例公开的一种物流包裹检测设备示意图; 图6为本发明实施例公开的一种物流包裹检测模型示意图; 图7为本发明实施例公开的一种物流包裹解析结果示意图; 6 CN 111597857 A 说 明 书 4/9 页 图8为本发明实施例公开的一种物流包裹图像信息示意图; 图9为本发明实施例公开的一种图像中覆盖目标的边界框的位置信息误  差示意 图; 图10为本发明实施例公开的一种生产测试效果图。
分享到:
收藏