技术摘要：
一种基于人工神经网络的物体检测的系统及方法。该方法包括：获取三维点云，并使用主干神经网络获取三维点云的第一特征图(S101)；使用注意力分支神经网络处理第一特征图，并获取第二特征图，该第二特征图的各个位置包括与该位置对应的预测注意力系数，第二特征图还用于  全部
背景技术：
安全性是自动驾驶中人们最为关注的问题之一。在算法层面，无人车对周围环境 的准确感知是保证安全的基础，因此，算法的精度十分重要。在无人驾驶过程中，无人车需 要对周围的三维物体进行检测。目前，大多采用激光雷达对三维物体进行检测，传统的检测 方法在面对被检测的三维物体被部分遮挡的情况时，会由于点云被遮挡，出现检测效果差 的问题。 因此，如何提升对被遮挡的三维物体的检测效果，成为亟待解决的问题。
技术实现要素：
本发明提供一种基于人工神经网络的物体检测的系统及方法，相对于现有技术， 可以进一步提高对被遮挡物体的预测效果。 第一方面，提供了一种基于人工神经网络的物体检测的方法，所述方法包括：获取 三维点云，并使用主干神经网络获取所述三维点云的第一特征图；使用注意力分支神经网 络处理所述第一特征图，并获取第二特征图，其中，所述第二特征图还用于获取所述目标物 体的损失函数，所述损失函数用于更新所述注意力分支神经网络的网络系数；根据所述第 二特征图获得预测结果，所述预测结果包括目标物体的位置信息。 可选地，通过根据被遮挡目标物体的三维点云数据确定的第一特征图可以获得各 个位置生成有预测注意力系数的第二特征图，根据预测注意力系数和真值注意力生成的注 意力损失函数对该预测注意力系数进行校正或者更新后，使该被遮挡目标物体的可见部分 的预测注意力系数高于被遮挡部分的预测注意力系数，在预测过程中可以更大程度利用该 可见部分，更准确地预测目标物体的位置和大小等信息。 应理解，本申请实施例提供的一种基于人工神经网络的物体检测的方法，可以应 用于无人机或者无人车等无人驾驶设备的自动驾驶领域，用于预测无人驾驶的可移动设备 周围环境中的障碍物(如其他车辆、行人等)，其中，该障碍物(即目标物体)可以是被部分遮 挡的物体。根据本申请实施例提供的方法，可以通过神经网络的深度学习，训练出能够根据 被遮挡目标物体的可见部分信息获得目标物体位置信息以及尺寸信息等的基于人工神经 网络的物体检测模型。其中，该物体检测模型在被训练的过程中，可以基于注意力机制，对 5 CN 111602138 A 说　明　书 2/15 页 目标物体的可见部分的信息赋予更多的权重，也即对可见部分的信息更加敏感，使得该物 体检测模型可以在后续预测过程中，可以根据目标物体的可见部分，更准确地获取目标物 体的信息。 结合第一方面，在第一方面的某些实现方式中，所述使用注意力分支神经网络处 理所述第一特征图，并获取第二特征图，包括：对所述第一特征图划分候选框；通过所述注 意力分支神经网络对所述第一特征图的候选框生成预测注意力系数，其中，每个所述候选 框的所述预测注意力系数的值为根据与所述第一特征图匹配的样本特征图确定的；将所述 预测注意力系数与所述第一特征图进行点乘，获取所述第二特征图。 可选地，在对检测模型进行训练之前，可以先建立样本库，该样本库中可以包括该 目标物体的样本特征图，该样本特征图包括真值注意力系数，示例性的，该样本特征图中目 标物体可见部分对应的真值注意力系数高于被遮挡部分的真值注意力系数。 可选地，该目标物体的样本特征图可以与该检测模型获取的第一特征图的各部分 点云特征信息相同，其区别仅为各个位置生成的注意力系数不同。 结合第一方面，在第一方面的某些实现方式中，所述方法还包括：对比所述第二特 征图的候选框的预测注意力系数与所述候选框对应的样本特征图中的真值框的注意力系 数；当所述候选框的预测注意力系数与所述真值框的真值注意力系数的置信度高于第一阈 值时，根据所述预测注意力系数和所述真值注意力系数确定注意力损失函数的结果；根据 所述注意力损失函数的结果对所述注意力分支神经网络系数进行更新，使所述注意力分支 神经网络系数的置信度高于第二阈值。 可选地，第二阈值可以高于第一阈值。换句话说，通过对预测注意力系数更新后， 预测注意力系数和与其对应的真值注意力系数的值更为接近。其中，第一阈值和第二阈值 的值可以灵活设置，本申请实施例对此不做限定。 结合第一方面，在第一方面的某些实现方式中，所述方法还包括：当对所述第二特 征图的预测注意力系数更新后，对更新后的所述预测注意力系数进行取自然常数e指数操 作。 应理解，对更新后的预测注意力系数进行取e指数操作后，可以使得目标物体可见 部分对应的预测注意力系数与被遮挡部分对应的预测注意力系数区分更加明显，凸显可见 部分的信息。 结合第一方面，在第一方面的某些实现方式中，所述根据所述注意力损失函数的 结果对所述预测注意力系数进行更新，包括：根据所述注意力损失函数的结果通过反向传 播算法对所述预测注意力系数进行更新。 结合第一方面，在第一方面的某些实现方式中，所述注意力损失函数为 其中，k为所述候选框中的特征点个数，La为smooth  L1损失函数，mk为所述预 测注意力系数，tk为所述真值注意力系数。 结合第一方面，在第一方面的某些实现方式中，所述获取三维点云，并使用主干神 经网络获取所述三维点云的第一特征图，包括：获取被遮挡的目标物体的三维点云数据；将 所述三维点云数据进行三维网络划分，并获得多个三维空间体素；根据每个所述体素中的 点云密度，获得所述体素的点云特征；使用所述主干神经网络提取所述点云特征，并生成所 述第一特征图。 6 CN 111602138 A 说　明　书 3/15 页 结合第一方面，在第一方面的某些实现方式中，所述通过所述注意力分支神经网 络对所述第一特征图的候选框生成预测注意力系数，包括：所述注意力分支神经网络通过 卷积操作、全连接以及卷积操作的变种中的一种或多种方式生成所述预测注意力系数。 结合第一方面，在第一方面的某些实现方式中，所述方法还包括：通过所述人工神 经网络对所述目标物体进行物体检测，并获得所述目标物体可见部分对应的特征图候选框 的三维位置和置信度；对所述置信度进行排序，并选取置信度高于第三阈值的候选框；根据 所述置信度高于第三阈值的候选框预测所述目标物体的信息。 应理解，在预测过程中，根据置信度对候选框进行筛选，根据该置信度较高的候选 框的信息确定目标物体的预测结果。 结合第一方面，在第一方面的某些实现方式中，所述目标物体的信息包括所述目 标物体的位置和/或尺寸。 结合第一方面，在第一方面的某些实现方式中，所述方法还包括：显示根据所述第 二特征图获得的预测结果。 应理解，在预测目标物体的位置或者尺寸信息时，通过本申请实施例提供的方法 获取可见部分预测注意力系数高于被遮挡部分预测注意力系数的特征图，并根据该特征图 获取目标物体的预测结果，其中，该预测结果可以由显示器直接显示。 第二方面，提供了一种基于人工神经网络的物体检测的系统，包括至少一个处理 器和激光雷达，其中，所述激光雷达，用于获取三维点云；并将所述目标物体的三维点云输 入所述处理器；所述处理器，用于对所述三维点云进行三维网格划分，得到多个体素；所述 处理器，还用于根据每个所述体素中的点云密度，确定所述体素对应位置的点云特征；所述 处理器，还用于通过所述物体检测模型的主干网络提取所述点云特征，并生成所述目标物 体的第一特征图；所述处理器，还用于通过所述物体检测模型的注意力分支神经网络在所 述第一特征图中生成预测注意力系数；所述处理器，还用于利用损失函数分支神经网络根 据样本特征图中的真值注意力系数和所述预测注意力系数计算注意力损失函数的结果；所 述处理器，还用于根据所述注意力损失函数的结果对所述预测注意力系数进行更新，使得 所述第二特征图中所述目标物体可见部分对应的特征图部分生成的预测注意力系数高于 所述目标物体被遮挡部分的特征图部分的预测注意力系数；所述处理器，还用于根据所述 目标物体的可见部分信息获得预测结果，所述预测结果包括目标物体的位置信息。 应理解，通过根据被遮挡目标物体的三维点云数据确定的第一特征图可以获得各 个位置生成有预测注意力系数的第二特征图，根据预测注意力系数和真值注意力生成的注 意力损失函数对该预测注意力系数进行校正或者更新后，使该被遮挡目标物体的可见部分 的预测注意力系数高于被遮挡部分的预测注意力系数，在预测过程中可以更大程度利用该 可见部分，更准确地预测目标物体的位置和大小等信息。 结合第二方面，在第二方面的某些实现方式中，所述处理器，还用于对所述第一特 征图划分候选框；所述处理器，还用于通过所述注意力分支神经网络对所述第一特征图的 候选框生成预测注意力系数；所述处理器，还用于将所述预测注意力系数与所述第一特征 图进行点乘，获取所述第二特征图。 可选地，在对检测系统进行训练之前，可以先建立样本库，该样本库中可以包括该 目标物体的样本特征图，该样本特征图包括真值注意力系数，示例性的，该样本特征图中目 7 CN 111602138 A 说　明　书 4/15 页 标物体可见部分对应的真值注意力系数高于被遮挡部分的真值注意力系数。 结合第二方面，在第二方面的某些实现方式中，所述处理器，还用于对比所述第二 特征图的候选框的预测注意力系数与所述候选框对应的样本特征图中的真值框的注意力 系数；所述处理器，还用于当所述候选框的预测注意力系数与所述真值框的真值注意力系 数的置信度高于第一阈值时，根据所述预测注意力系数和所述真值注意力系数确定注意力 损失函数的结果；所述处理器，还用于根据所述注意力损失函数的结果对所述预测注意力 系数进行更新，使所述预测注意力系数的置信度高于第二阈值。 结合第二方面，在第二方面的某些实现方式中，当所述处理器，用于对所述第二特 征图的预测注意力系数更新后，对更新后的所述预测注意力系数进行取自然常数e指数操 作。 应理解，对更新后的预测注意力系数进行取e指数操作后，可以使得目标物体可见 部分对应的预测注意力系数与被遮挡部分对应的预测注意力系数区分更加明显，凸显可见 部分的信息。 结合第二方面，在第二方面的某些实现方式中，所述处理器，还用于根据所述注意 力损失函数的结果通过反向传播算法对所述预测注意力系数进行更新。 结合第二方面，在第二方面的某些实现方式中，所述注意力损失函数为 其中，k为所述候选框中的特征点个数，La为smooth  L1损失函数，mk为所述预 测注意力系数，tk为所述真值注意力系数。 结合第二方面，在第二方面的某些实现方式中，所述处理器，还用于获取被遮挡的 目标物体的三维点云数据；所述处理器，还用于将所述三维点云数据进行三维网络划分，并 获得多个三维空间体素；所述处理器，还用于根据每个所述体素中的点云密度，获得所述体 素的点云特征；所述处理器，还用于使用所述主干神经网络提取所述点云特征，并生成所述 第一特征图。 结合第二方面，在第二方面的某些实现方式中，所述处理器，用于通过所述注意力 分支神经网络对所述第一特征图的候选框生成预测注意力系数，包括：所述注意力分支神 经网络通过卷积操作、全连接以及卷积操作的变种中的一种或多种方式生成所述预测注意 力系数。 结合第二方面，在第二方面的某些实现方式中，所述处理器，用于通过所述人工神 经网络对所述目标物体进行物体检测，并获得所述目标物体可见部分对应的特征图候选框 的三维位置和置信度；所述处理器，还用于对所述置信度进行排序，并选取置信度高于第三 阈值的候选框；所述处理器，还用于根据所述置信度高于第三阈值的候选框预测所述目标 物体的信息。 结合第二方面，在第二方面的某些实现方式中，所述目标物体的信息包括所述目 标物体的位置和/或尺寸。 结合第二方面，在第二方面的某些实现方式中，所述系统还包括显示器，所述显示 器用于显示根据所述第二特征图获得的预测结果。 可选地，本申请实施例提供的系统可以应用于无人驾驶领域的可移动设备中，该 可移动设备可以为无人机或者无人车。该可移动设备可以通过激光雷达对被遮挡目标物体 的三维点云进行采集，并根据被遮挡物体的可见部分对目标物体的位置和/或尺寸信息进 8 CN 111602138 A 说　明　书 5/15 页 行预测。 第三方面，提供了一种基于人工神经网络的物体检测的系统，所述系统包括处理 模块和接收模块，其中，所述系统用于执行如第一方面任一实现方式中所述的方法。 第四方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序 被计算机执行时使得，所述计算机执行第一方面提供的方法。 第五方面，提供了一种芯片系统，所述芯片系统包括至少一个处理器，当程序指令 在所述至少一个处理器中执行时，使得如第一方面中任一项所述的方法得以实现。 第六方面，提供了一种包含指令的计算机程序产品，所述指令被计算机执行时使 得计算机执行第一方面提供的方法。 本申请实施例提供的一种基于人工神经网络的物体检测的方法，可以应用于无人 机或者无人车等无人驾驶设备的自动驾驶领域，用于预测无人驾驶的可移动设备周围环境 中的障碍物(如其他车辆、行人等)，其中，该障碍物(即目标物体)可以是被部分遮挡的物 体。根据本申请实施例提供的方法，可以通过神经网络的深度学习，训练出能够根据被遮挡 目标物体的可见部分信息获得目标物体位置信息以及尺寸信息等的基于人工神经网络的 物体检测模型。其中，该物体检测模型在被训练的过程中，可以基于注意力机制，对目标物 体的可见部分的信息赋予更多的权重，也即对可见部分的信息更加敏感，使得该物体检测 模型可以在后续预测过程中，可以根据目标物体的可见部分，更准确地获取目标物体的信 息。 附图说明 图1示出了本申请实施例提供的基于人工神经网络的物体检测的方法所应用的场 景的示意图。 图2示出了本申请实施例提供的基于人工神经网络的物体检测的方法的示意性流 程图。 图3示出了本申请实施例提供的基于人工神经网络的物体检测的方法的示意性流 程图。 图4示出了本申请实施例提供的一种基于人工神经网络的物体检测的系统示意 图。 图5示出了本申请实施例提供的另一种基于人工神经网络的物体检测的系统示意 图。