技术摘要：
本发明公开了一种基于混合模型的小样本图像语义分割方法、一种小样本图像语义分割装置及计算机可读存储介质，所述方法包括以下语义分割模型的训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取；步骤2，对无标注待分割的查询图像进行特征激活；步骤3，获得训练 全部
背景技术：
深度神经网络例如卷积神经网络(CNN)已经在计算机视觉、语义分割中取得了巨 大成就，其很大程度上依赖于网络在大数据集的训练。然而，在语义分割任务中，标注大数 据集的目标轮廓耗时费力、成本昂贵并且不切实际。因此，迫切需要小样本学习方法来解决 这一问题。 小样本学习是在利用训练图像完成网络特征表达学习后，利用少量带有标注的图 像——支撑集，来实现对查询图像的分割，其挑战在于：一方面待分割的类别与训练图像的 类别不同，另一方面支撑图像与查询图像在外观和姿态方面存在不同。 小样本学习语义分割的实现基于度量学习框架，当前方法大多为通过对有标注引 导的支撑图像的特征图做池化操作，以提取一个原型向量，该向量再将每个维度的特征图 压缩到一个点以将所有的特征信息压缩到向量的维度上；利用该原型向量比较支撑图像与 查询图像来实现对查询图像的分割。 但是，利用一个全局平均得到的原型向量来表示整个特征图会丢掉整个图的特征 分布以及空间信息，一个原型向量会导致不同对象部分的语义混叠，并完全丢失特征的分 布。 因此，有必要提供一种简单有效的方法，以改善小样本语义分割中语义混叠的问 题，提高分割精度。
技术实现要素：
为了克服上述问题，本发明人进行了锐意研究，设计出一种基于混合模型的小样 本图像语义分割方法，该方法对少量有标注的支撑图像特征建立混合模型提取多个原型向 量，利用多原型向量对无标注待分割的查询图像进行特征激活与概率图计算，实现对查询 图像的分割。本发明所提供的方法无需大量数据标注，降低了支撑图像的信息损失，提高了 神经网络对查询图像的分割精度，改善了小样本语义分割中语义混叠的问题，从而完成了 本发明。 具体来说，本发明的目的在于提供以下方面： 第一方面，提供一种基于混合模型的小样本图像语义分割方法，所述方法包括以 下语义分割模型的训练步骤： 步骤1，对有标注的支撑图像特征进行原型向量提取； 步骤2，对无标注待分割的查询图像进行特征激活； 步骤3，获得训练后的小样本语义分割模型。 第二方面，提供一种小样本图像语义分割装置，优选用于实施第一方面所述的方 3 CN 111583284 A 说 明 书 2/11 页 法，所述装置包括向量提取单元、特征激活单元和语义分割单元，其中， 向量提取单元，用于对少量有标注的支撑图像特征建立混合模型，以提取多个原 型向量； 特征激活单元，利用多个原型向量对无标注待分割的查询图像进行特征激活与概 率图计算； 语义分割单元，利用分割网络实现对查询图像的分割。 第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图 像语义分割程序，所述图像语义分割程序被处理器执行时实现第一方面所述方法的步骤。 本发明所具有的有益效果包括： (1)本发明提供的基于混合模型的小样本图像语义分割方法，无需大量数据标注， 减少了人工标注成本； (2)本发明提供的基于混合模型的小样本图像语义分割方法，降低了支撑图像的 信息损失，提高了神经网络对查询图像的分割精度； (3)本发明提供的基于混合模型的小样本图像语义分割方法，改善了小样本语义 分割中语义混叠的问题； (3)本发明提供的基于混合模型的小样本图像语义分割方法，对小样本学习、增量 学习等有重要意义，对于自然场景图像、医学图像等领域的语义分割具有应用价值。 附图说明 图1示出本发明一种优选实施方式的基于原型混合模型(PMMs)的小样本图像语义 分割方法的流程图； 图2示出本发明一种优选实施方式的基于残差结构混合模型(RPMMs)的小样本图 像语义分割方法的流程图； 图3示出本发明一种优选实施方式的原型向量与支撑图像中目标成分的对应图； 图4示出本发明一种优选实施方式的网络激活图与概率图； 图5示出本发明实施例中Pascal-5i数据集各类别性能结果图； 图6示出本发明实施例中Pascal-5i数据集结果比对图； 图7示出本发明实施例中COCO-20i数据集结果比对图。
本发明公开了一种基于混合模型的小样本图像语义分割方法、一种小样本图像语义分割装置及计算机可读存储介质，所述方法包括以下语义分割模型的训练步骤：步骤1，对有标注的支撑图像特征进行原型向量提取；步骤2，对无标注待分割的查询图像进行特征激活；步骤3，获得训练 全部
背景技术：
深度神经网络例如卷积神经网络(CNN)已经在计算机视觉、语义分割中取得了巨 大成就，其很大程度上依赖于网络在大数据集的训练。然而，在语义分割任务中，标注大数 据集的目标轮廓耗时费力、成本昂贵并且不切实际。因此，迫切需要小样本学习方法来解决 这一问题。 小样本学习是在利用训练图像完成网络特征表达学习后，利用少量带有标注的图 像——支撑集，来实现对查询图像的分割，其挑战在于：一方面待分割的类别与训练图像的 类别不同，另一方面支撑图像与查询图像在外观和姿态方面存在不同。 小样本学习语义分割的实现基于度量学习框架，当前方法大多为通过对有标注引 导的支撑图像的特征图做池化操作，以提取一个原型向量，该向量再将每个维度的特征图 压缩到一个点以将所有的特征信息压缩到向量的维度上；利用该原型向量比较支撑图像与 查询图像来实现对查询图像的分割。 但是，利用一个全局平均得到的原型向量来表示整个特征图会丢掉整个图的特征 分布以及空间信息，一个原型向量会导致不同对象部分的语义混叠，并完全丢失特征的分 布。 因此，有必要提供一种简单有效的方法，以改善小样本语义分割中语义混叠的问 题，提高分割精度。
技术实现要素：
为了克服上述问题，本发明人进行了锐意研究，设计出一种基于混合模型的小样 本图像语义分割方法，该方法对少量有标注的支撑图像特征建立混合模型提取多个原型向 量，利用多原型向量对无标注待分割的查询图像进行特征激活与概率图计算，实现对查询 图像的分割。本发明所提供的方法无需大量数据标注，降低了支撑图像的信息损失，提高了 神经网络对查询图像的分割精度，改善了小样本语义分割中语义混叠的问题，从而完成了 本发明。 具体来说，本发明的目的在于提供以下方面： 第一方面，提供一种基于混合模型的小样本图像语义分割方法，所述方法包括以 下语义分割模型的训练步骤： 步骤1，对有标注的支撑图像特征进行原型向量提取； 步骤2，对无标注待分割的查询图像进行特征激活； 步骤3，获得训练后的小样本语义分割模型。 第二方面，提供一种小样本图像语义分割装置，优选用于实施第一方面所述的方 3 CN 111583284 A 说 明 书 2/11 页 法，所述装置包括向量提取单元、特征激活单元和语义分割单元，其中， 向量提取单元，用于对少量有标注的支撑图像特征建立混合模型，以提取多个原 型向量； 特征激活单元，利用多个原型向量对无标注待分割的查询图像进行特征激活与概 率图计算； 语义分割单元，利用分割网络实现对查询图像的分割。 第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图 像语义分割程序，所述图像语义分割程序被处理器执行时实现第一方面所述方法的步骤。 本发明所具有的有益效果包括： (1)本发明提供的基于混合模型的小样本图像语义分割方法，无需大量数据标注， 减少了人工标注成本； (2)本发明提供的基于混合模型的小样本图像语义分割方法，降低了支撑图像的 信息损失，提高了神经网络对查询图像的分割精度； (3)本发明提供的基于混合模型的小样本图像语义分割方法，改善了小样本语义 分割中语义混叠的问题； (3)本发明提供的基于混合模型的小样本图像语义分割方法，对小样本学习、增量 学习等有重要意义，对于自然场景图像、医学图像等领域的语义分割具有应用价值。 附图说明 图1示出本发明一种优选实施方式的基于原型混合模型(PMMs)的小样本图像语义 分割方法的流程图； 图2示出本发明一种优选实施方式的基于残差结构混合模型(RPMMs)的小样本图 像语义分割方法的流程图； 图3示出本发明一种优选实施方式的原型向量与支撑图像中目标成分的对应图； 图4示出本发明一种优选实施方式的网络激活图与概率图； 图5示出本发明实施例中Pascal-5i数据集各类别性能结果图； 图6示出本发明实施例中Pascal-5i数据集结果比对图； 图7示出本发明实施例中COCO-20i数据集结果比对图。
