logo好方法网

图像分割方法、装置、设备及存储介质


技术摘要:
本申请实施例公开了一种图像分割方法、装置、设备及存储介质,获取目标图像的目标初始特征图序列,以及至少一帧辅助图像的辅助初始特征图序列;至少根据各帧辅助图像的区域分割先验知识,对各帧辅助图像的辅助初始特征图序列进行修正,得到各帧辅助图像的修正后的辅助  全部
背景技术:
图像分割是指从图像中提取感兴趣区域。目前的基于深度学习的图像分割方法, 严重依赖于训练样本,但是在一些领域,训练样本的收集比较困难,导致训练样本数量较 少,训练样本的不足使得图像分割方法的分割精度低。
技术实现要素:
本申请的目的是提供一种图像分割方法、装置、设备及存储介质,包括如下技术方 案: 一种图像分割方法,包括: 获取目标图像的目标初始特征图序列,以及至少一帧辅助图像的辅助初始特征图 序列; 至少根据各帧辅助图像的区域分割先验知识,对各帧辅助图像的辅助初始特征图 序列进行修正,得到各帧辅助图像的修正后的辅助初始特征图序列; 将所述各帧辅助图像的修正后的初始辅助特征图序列与所述目标初始特征图序 列融合,得到融合特征; 利用所述融合特征确定所述目标图像的区域分割结果。 上述方法,优选的,所述至少根据各帧辅助图像的区域分割先验知识,对各帧辅助 图像的辅助初始特征图序列进行修正,包括: 对于每一帧辅助图像,利用该帧辅助图像的区域分割先验知识对该帧辅助图像的 辅助初始特征图序列的目标区域和非目标区域分别进行修正。 上述方法,优选的,所述利用该帧辅助图像的区域分割先验知识对该帧辅助图像 的辅助初始特征图序列的目标区域和非目标区域分别进行修正,包括: 对于该帧辅助图像的辅助初始特征图序列中每一辅助初始特征图,利用该帧辅助 图像的区域分割先验知识确定该辅助初始特征图的目标区域的第一权重和该辅助初始特 征图的非目标区域的第二权重; 根据所述第一权重和所述第二权重,将该辅助初始特征图的目标区域和非目标区 域加权求和,得到该辅助初始特征图的修正后的辅助初始特征图。 上述方法,优选的,所述至少根据各帧辅助图像的区域分割先验知识,对各帧辅助 图像的辅助初始特征图序列进行修正,包括: 根据各帧辅助图像的区域分割先验知识,以及所述目标初始特征图序列,对各帧 辅助图像的辅助初始特征图序列进行修正。 上述方法,优选的,所述根据各帧辅助图像的区域分割先验知识,以及所述目标初 4 CN 111583282 A 说 明 书 2/16 页 始特征图序列,对各帧辅助图像的辅助初始特征图序列进行修正,包括: 对于每一帧辅助图像,利用该帧辅助图像的区域分割先验知识对该帧辅助图像的 辅助初始特征图序列的目标区域和非目标区域分别进行修正,得到该帧辅助图像的辅助初 始特征图序列的初始修正结果; 利用所述目标初始特征图序列对该帧辅助图像的辅助初始特征图序列的初始修 正结果进行修正,得到该帧辅助图像的修正后的辅助初始特征图序列。 上述方法,优选的,所述利用所述目标初始特征图序列对该帧辅助图像的辅助初 始特征图序列的初始修正结果进行修正,包括: 利用所述目标初始特征图序列确定该帧辅助图像的辅助初始特征图序列中的各 辅助初始特征图的第三权重; 将该帧辅助图像的辅助初始特征图序列中的每一辅助初始特征图的初始修正结 果乘以该辅助初始特征图对应的第三权重,得到该帧辅助图像的修正后的辅助初始特征图 序列。 上述方法,优选的,所述将所述各帧辅助图像的修正后的初始辅助特征图序列与 所述目标初始特征图序列融合,包括: 将所述各帧辅助图像的修正后的初始辅助特征图序列和所述目标初始特征图序 列拼接,得到所述融合特征; 或者, 根据所述目标初始特征图序列,确定所述目标初始特征图序列中各个目标初始特 征图的第四权重;将所述目标初始特征图序列中各个目标初始特征图乘以相应的第四权 重,得到修正后的目标初始特征图序列;将所述各帧辅助图像的修正后的初始辅助特征图 序列和所述修正后的目标初始特征图序列拼接,得到所述融合特征。 上述方法,优选的,所述图像分割方法通过图像分割模型实现,所述图像分割模型 通过如下方式训练得到: 通过所述图像分割模型获取样本图像的样本初始特征图序列,以及至少一帧辅助 图像的辅助初始特征图序列; 通过所述图像分割模型至少根据各帧辅助图像的区域分割先验知识,对各帧辅助 图像的辅助初始特征图序列进行修正,得到各帧辅助图像的修正后的辅助初始特征图序 列; 通过所述图像分割模型将所述各帧辅助图像的修正后的初始辅助特征图序列与 所述样本初始特征图序列融合,得到第一融合特征; 通过所述图像分割模型利用所述第一融合特征确定所述样本图像的区域分割结 果; 通过所述图像分割模型至少以所述样本图像的区域分割结果趋近于所述样本图 像的区域分割先验知识为目标,对所述图像分割模型的参数进行更新。 上述方法,优选的,还包括: 通过所述图像分割模型至少根据所述样本图像的区域分割结果,对所述样本初始 特征图序列进行修正,得到修正后的样本初始特征图序列; 对于每一帧辅助图像,通过所述修正后的样本初始特征图序列与该帧辅助图像的 5 CN 111583282 A 说 明 书 3/16 页 辅助初始特征图序列融合,得到该帧辅助图像对应的第二融合特征; 通过所述图像分割模型利用各帧辅助图像对应的第二融合特征确定各帧辅助图 像的区域分割结果; 所述通过所述图像分割模型至少以所述样本图像的区域分割结果趋近于所述样 本图像的区域分割先验知识为目标,对所述图像分割模型的参数进行更新,包括: 通过所述图像分割模型以所述样本图像的区域分割结果趋近于所述样本图像的 区域分割先验知识,每一帧辅助图像的区域分割结果趋近于该帧辅助图像的分割先验知识 为目标,对所述图像分割模型的参数进行更新。 一种图像分割装置,包括: 特征提取处理模块,用于获取目标图像的目标初始特征图序列,以及至少一帧辅 助图像的辅助初始特征图序列; 修正处理模块,用于至少根据各帧辅助图像的区域分割先验知识,对各帧辅助图 像的辅助初始特征图序列进行修正,得到各帧辅助图像的修正后的辅助初始特征图序列; 融合处理模块,用于将所述各帧辅助图像的修正后的初始辅助特征图序列与所述 目标初始特征图序列融合,得到融合特征; 分割处理模块,用于利用所述融合特征确定所述目标图像的区域分割结果。 一种电子设备,包括: 存储器,用于至少存储一组指令集; 处理器,用于调用并执行所述存储器中的所述指令集,通过执行所述指令集进行 以下操作: 获取目标图像的目标初始特征图序列,以及至少一帧辅助图像的辅助初始特征图 序列; 至少根据各帧辅助图像的区域分割先验知识,对各帧辅助图像的辅助初始特征图 序列进行修正,得到各帧辅助图像的修正后的辅助初始特征图序列; 将所述各帧辅助图像的修正后的初始辅助特征图序列与所述目标初始特征图序 列融合,得到融合特征; 利用所述融合特征确定所述目标图像的区域分割结果。。 一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实 现如上任一项所述的图像分割方法的各个步骤。 通过以上方案可知,本申请提供的一种图像分割方法、装置、设备及存储介质,获 取目标图像的目标初始特征图序列,以及至少一帧辅助图像的辅助初始特征图序列;至少 根据各帧辅助图像的区域分割先验知识,对各帧辅助图像的辅助初始特征图序列进行修 正,得到各帧辅助图像的修正后的辅助初始特征图序列;将各帧辅助图像的修正后的初始 辅助特征图序列与目标初始特征图序列融合,得到融合特征;利用融合特征确定目标图像 的区域分割结果。本申请的图像分割方案,根据各帧辅助图像的区域分割先验知识,对各帧 辅助图像的辅助初始特征图序列进行修正,将各帧辅助图像的修正后的初始辅助特征图序 列与目标初始特征图序列融合,得到融入了辅助图像的区域分割先验知识的融合特征,利 用融合特征进行图像分割,实现了利用辅助图像的区域分割先验知识协助目标图像的区域 分割的目的,从而提高图像分割精度。 6 CN 111583282 A 说 明 书 4/16 页 附图说明 为了更清楚地说明本申请实施例的技术方案,下面将对实施例所需要使用的附图 作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普 通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。 图1为本申请实施例提供的图像分割方法的一种实现流程图; 图2为本申请实施例提供的利用该帧辅助图像的区域分割先验知识对该帧辅助图 像的辅助初始特征图序列的目标区域和非目标区域分别进行修正的一种实现流程图; 图3为本申请实施例提供的利用目标初始特征图序列对该帧辅助图像的辅助初始 特征图序列的初始修正结果进行修正的一种实现流程图; 图4为本申请实施例提供的将各帧辅助图像的修正后的初始辅助特征图序列与目 标初始特征图序列融合的一种实现流程图; 图5为本申请实施例提供的图像分割模型的一种架构示意图; 图6为本申请实施例提供的对图像分割模型进行训练的一种实现流程图; 图7为本申请实施例提供的对图像分割模型进行训练的另一种实现流程图; 图8a-8c为本申请实施例提供的对图像分割模型进行训练的一种框架示例图; 图9为本申请实施例提供的图像分割装置的一种结构示意图; 图10为本申请实施例提供的电子设备的一种结构示意图。 说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果 存在)是用于区别类似的部分,而不必用于描述特定的顺序或先后次序。应该理解这样使用 的数据在适当情况下可以互换,以便这里描述的本申请的实施例,能够以除了在这里图示 的以外的顺序实施。
分享到:
收藏