技术摘要：
本发明涉及一种小金属威胁的检测方法，其包括：对被检查物体进行X射线检查，得到X射线图像；对所述X射线图像进行预处理，得到预处理后的X射线图像；以小窗口进行密度采样；利用基于预设的基于卷积神经网络的深度学习模型训练的分类器对所述被检测物体进行分类并计算检  全部
背景技术：
现如今，安全检测在我们日常生活中越来越常见，同时也引起了社会各界高度的 关注。在全球各个机场，车站，地铁，各机关单位等重要的场所，安全工作人员通过安全基础 设施设备来检测人们是否携带枪支、弹药、易燃、易爆、有毒放射性等危险物品，以确保其人 身财产安全，同时防止不法分子或恐怖袭击，维护社会治安的和平稳定。 在一些特殊的场景，例如货运集装箱，对小金属威胁(SMT)目前主要依赖于统计风 险分析，情报报告以及安检工作人员对X射线图像的目视检查。这些方法在任务困难的情况 下非常缓慢且不可靠，通常被检测的物体体积很小，在非常复杂和混乱的背景下，需要在包 含200万像素值以上的图像中检测到可能为50像素值以下的对象，因此这些方法不准确，而 且在检测货运集装箱时，其图像中的场景往往更大，更复杂，对货物的排列方式几乎没有限 制，加之一些密集的遮蔽，一般安检人员很难用肉眼看到隐藏在合法货物中的威胁，这样仍 然有可能会受到非法走私或者恐怖袭击等威胁。 现有相关技术方案一 手动检查X射线安全图像是目前常见的一种安检方法，常用于车站，机场等安检 处。但是在货运集装箱的图像中，小型金属的成像尺寸较小，例如在2600×850像素的图像 中像素的典型值只有0.1％，因此在检测过程中，安检人员对图像难以分辨，同时增加检测 时间。现有相关技术方案一的缺点是：当面对集装箱这种长度达10几米的大型货物箱时，如 果货物摆放复杂或密集，同时还有遮蔽时，小金属物体很难分辨，完全发现不了在合格货物 中的金属威胁。 现有相关技术方案二 人们利用特征提取和聚类的方法来检测集装箱图像中的小金属，例如BoW词袋模 型，该方法常用于计算机视觉、信息检索等领域。词袋模型是先将图片通过SIFT、SURF等方 式提取特征，然后运用k-means聚类等方法构建词典，对于新的输入数据通过直方图统计来 进行图像的分类。现有相关技术方案二的缺点是：该方法是针对自然图像等开发的，其透明 度，噪声水平，混乱和倾斜的视角与X射线图像明显不同，该检测直接应用于X射线图像中， 识别效果不好。 现有相关技术方案三： 基于形状和纹理的X射线货物图像来进行检测，该方案将X射线货物图像分为22个 类别，例如轮胎谷物等类别，在此分类的训练集上进行训练，78％的图像能正确分类识别。 现有相关技术方案三的缺点是：由于小金属方向不受限制，特征不明显的特性，导致提取不 了特殊的特征纹理，识别度并不高，该方法只适用于识别大型有明显规则和特征的物体。 目前，采用神经网络检测物品已经有一些专利报道。 3 CN 111582367 A 说　明　书 2/6 页 中国专利CN108303747A公开了一种检查设备和检测枪支的方法。对被检查物体进 行X射线检查，得到透射图像。利用训练的枪支检测神经网络确定所述透射图像中的多个候 选区域。利用所述枪支检测神经网络对所述多个候选区域进行分类，以确定所述透射图像 中是否包含枪支。利用上述方案，可以更为准确地确定集装箱/车辆中是否包含枪支。其仅 提出公开的实施例以卷积神经网络(CNN)为实施例说明，卷积神经网络的学习过程包括算 输出(前向传播)和调参数(反向传播)两个环节。通过学习样本图像，即多经过多层卷积，激 励函数，池采样，全连接，误差计算后优化得到一个网络，保证该网络在当前样本图像下预 测误差最小，即认为该模型是最优模型。但是没有进行更多细致研究。 中国专利CN107871122A公开了一种安检检测方法、装置、系统及电子设备，其中， 该方法包括获取安检终端接收到的安检机内的X光机采集的X光图像，对该X光图像进行预 处理，得到预处理后的X光图像；根据预设的深度学习模型提取预处理后的X光图像中对应 的待检测物的物品特征，该预设的深度学习模型包括基于卷积神经网络的深度学习模型； 利用基于预设的深度学习模型训练的分类器对物品特征进行识别，生成对应待检测物的识 别结果；将待检测物的识别结果发送至安检终端，以使安检终端显示该识别结果。本发明实 施例提供的技术方案，实现了对违禁品的自动识别检测，且在提高识别效率的同时，有效保 证了对违禁品识别的准确性，预防了安全隐患的发生。其是采用邻域平均法对采集的所述X 光图像进行平滑去噪，得到平滑去噪后的X光图像；采用直方图均衡法对所述平滑去噪后的 图像的边缘信息进行增强，得到预处理后的X光图像。 中国专利CN108734183A公开了一种检查设备和检查方法。对待检查的集装箱进行 X射线扫描，得到透射图像，然后利用卷积神经网络从透射图像产生描述局部透射图像的第 一向量，并且利用循环神经网络从集装箱货物的文字描述产生词向量，作为第二向量。整合 第一向量和第二向量，得到表述透射图像和文字描述的第三向量。基于第三向量判别集装 箱中的货物所属的类别。根据本公开的实施例，可以初步判断目标货物的大致类别，方便判 图员的进一步判断。该发明的最大不同是加入了文字描述产生的词向量。 中国专利CN110488368A公开了一种基于双能X光安检机的违禁品识别方法及装 置，所述方法包括：获取带标注信息的多通道图像集合，所述多通道图像集合包括HLS图像、 等效原子序数图像及X射线接收能量图像，所述标注信息包括违禁品的位置信息和类别信 息；将所述多通道图像集合输入到卷积神经网络进行训练；利用训练完成后的卷积神经网 络对待检测图像进行识别，输出违禁品的位置和类别。 总而言之，上述专利通过利用卷积神经网络的方法对X射线图像进行优化训练，减 少了外界环境等因数的影响从而更好地获取分类和检测结果，在安全检测领域中很大程度 提高了工作效率和对违禁物品等检测的准确率。这些专利主要都是对枪支、刀具等日常生 活中常见的违禁危险物品的检测和识别，同时训练数据集相对充足，也有大量的案例支撑。 但是在一些特殊情况下，例如国外的一些恐怖袭击事件中，一些小金属物体能够引爆炸药， 其更具有破坏性和杀伤性，同时面对拥有巨大空间的货运集装箱并且处于十分隐蔽的状态 时，往往不能被很好的检测出来，具有很大的安全隐患。本发明主要是针对检测这种小金属 威胁，使用深度学习的方法实现对特征的提取和训练，同时现存的小金属威胁数据集相对 较少，面对仅有了少量数据通过数据增强等来扩大数据集。创新点一：在卷积网络中使用双 通道输入，并在自然图像处理上进行改进，使之网络模型更适于处理这种具有半透明性的X 4 CN 111582367 A 说　明　书 3/6 页 射线图像；创新点二：对已有SMT实例通过利用乘性特性进行投影从而得到新的数据集，方 便后续数据的训练。
技术实现要素：
本发明要解决的技术问题在于：针对相关方案一采用手动检查X射线图像的检测 不准确，检测时间长的问题。针对相关方案二采用特征提取和聚类的方法来进行检测分类， 方案并没有对X射线图像进行处理，优化不同图像的类别特征。针对相关方案三采用基于形 状和纹理的检测方法，由于在面对小金属威胁(SMT)时，没有考虑到其成像尺寸很小，方向 不受约束，难以提取到特别的纹理信息进行分类。该方案无法实现准确的检测到小金属威 胁(SMT)。 本发明提供使用卷积神经网络来检测X射线图像中的威胁，有效解决了无法准确 分别识别的问题，且耗时短，计算能力强，能够满足更多的检查图像，通过学习表示法扩充 数据获得更好的数据集训练效果。 具体而言，本发明提供了一种小金属威胁的检测方法，其包括：对被检查物体进行 X射线检查，得到X射线图像；对所述X射线图像进行预处理，得到预处理后的X射线图像；以 小窗口进行密度采样；利用基于预设的基于卷积神经网络的深度学习模型训练的分类器对 所述被检测物体进行分类并计算检测图像的置信度分数，在所述置信度大于特定阈值的情 况下判断小金属威胁；将所述被检测物的检测结果发送至安检终端。 另外，在计算检测图像的置信度分数之外，通过在每个位置将归一化的平均窗口 分数映射到像素值，在分类过程中生成热成像图，通过所述热成像图定位检测到的小金属 威胁。 所述对X射线图像进行预处理，包括：转化为灰度图像并降低噪声干扰，引入对数 变换，提高图片的表达信息。所述基于卷积神经网络的深度学习模型是通过一定数量的样 本数据训练得到的，所述样本数据包括已有的相关商业流图像数据和增强数据。所述增强 数据是基于X射线图像的半透明特性，通过将小金属威胁实例投射到已有的商业流图像中 来合成物理准确的图像，同时对图像强度缩放和图像翻转，从而得到多样化的增强数据。 所述小金属威胁实例包括如下操作步骤：从完整尺寸的图像中裁剪出包含单个小 金属威胁实例的补丁，手动执行小金属威胁实例的像素分割，从而得到小金属威胁二进制 掩码，通过将裁剪后的色块除以小金属威胁二进制掩码之外像素的平均强度来执行背景校 正。 所述基于卷积神经网络的深度学习模型，其CNN类型是使用MatConvNet库从头开 始训练，MatConvNet是计算机视觉中CNN的MATLAB工具箱，该工具箱使用简单，支持大型数 据集的复杂模型，同时提供带有滤波的线性卷积，池化等计算模块。其网络架构基于 Simonyan和Zisserman(Simonyan和Zisserman所提出的神经网络结构能够处理大规模的图 像识别，并将网络深度推到了16至19层，显著提高了检测的性能，促进了计算机视觉领域内 对深层网络的研究探索)采用19层的CNN网络结构，19层包含16CONV和3FC。或者采用11层的 CNN网络结构，11层包含8CONV和3FC。在训练神经网络的过程中，图像输入采用双通道图像 输入或者灰度图像输入。 本发明提出了一种新型的小金属威胁(SMT)的检测技术，由于在商业流(SoC)和获 5 CN 111582367 A 说　明　书 4/6 页 取阶段性图像中，威胁是少见的，因此数据很难获取且非常耗时。此方案首先通过对数据合 成来扩充以解决训练数据样本少的问题，在得到大批数据的基础上进行卷积神经网络训 练，再定位检测到的SMT(或假阳性信号的来源)来进行分类决策，最后提供了在全尺寸图像 中自动检测SMT的结果，并对所有类型的背景进行了性能评估。 本发明的整体结构如图1。 本发明的实验步骤分为：数据集增强，数据处理，搭建CNN网络结构，性能评估四部 分。 数据集增强：先采集已有的相关商业流(SOC)图像数据，包括一些工业设备等。我 们首先从完整尺寸的图像中裁剪出包含单个SMT实例的补丁。手动执行SMT实例的像素分 割，从而得到SMT二进制掩码。通过将裁剪后的色块除以SMT二进制掩码之外像素的平均强 度来执行背景校正。如果不相关的对象或结构出现在补丁中(例如其他SMT的一部分或支持 结构)，则在背景校正期间也会忽略相应的像素。然后可以通过强度乘法将SMT实例投影到 另一个X射线图像中。由于X射线图像的半透明特性，将相同的SMT实例投影到不同的图像结 果会产生截然不同的外观，通过将威胁投射到SoC图像中来合成物理准确的图像，同时对图 像强度缩放和图像翻转，增强数据集，使数据集更具多样化。 数据处理：在训练的时候，对数据集分为训练集和测试集，并保证训练和测试数据 之间不能重叠。在分类之前还要进行预处理和对数变换，对数变换可以拉伸范围较窄的低 灰度值，同时压缩范围较宽的高灰度值。可以用来扩展图像中的暗像素值，同时压缩亮像素 值。这种变换一般通过视觉检查过程中的安全性来检测隐匿编辑器，对图像进行对数转换 是提高性能的关键。 CNN网络结构：本发明的CNN类型是使用MatConvNet库从头开始训练的(TFS)，此架 构基于Simonyan和Zisserman，神经网络层具有3×3过滤器的多个卷积层(CONV)堆叠在最 大池化层(Max-Pooling)之间，并加入三个完全连接的层(FC)图层，总共构成19层(16CONV 3FC)的CNN网络结构。图像输入采用的是双通道图像输入(TFS-B)，即原始强度和对数转换 强度，最后通过softmax损失函数输出分类概率。批量归一化(确定输入分布的平均值和方 差)用于网络正则化并加快训练速度，从每个输入图像中减去在训练集中计算出的平均图 像。另外，在训练时图像水平和垂直方向也被随机翻转。 性能评估：通过测试的数据集，来验证实验结果。最后得到的测试结果反应出网络 结构的性能指标，以及检测小金属威胁(SMT)的准确度。 有益效果： 与现有技术相比，本发明提出的一种基于卷积神经网络来检测X射线中的小金属 威胁(SMT)，同时通过表示学习方法来训练数据优化类别特征。当检测结果中检测到90％的 SMT合成隐藏在商务流图像中时，报告的错误警报少于6％。相对于传统的直方图统计信息 检索的方法提高了一个数量级。 对于之前的相关专利，可通过X射线的乘性特性来扩充数据集，准确的提取物体的 特征信息，减少由于数据不足而造成的欠拟合情况。 附图说明 为了更好地理解本发明，将根据以下附图对本发明进行详细描述： 6 CN 111582367 A 说　明　书 5/6 页 图1是本发明的整体结构图； 图2是对数变换对螺栓刀具X射线图像的影响图； 图3是TFS网络配置图； 图4是各方法SMT检测性能对比图； 图5是无SMT检测对比图； 图6是CNN-19-TFS-B的SMT检测示例图； 图7是SMT检测对比图。