技术摘要：
本公开涉及一种基于场景图的图像描述生成方法及装置，所述方法包括：将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对象之间的关系类别概率分布向量；对关系类别概率分布向量进行权值预测处理，获得各目标对象之间的关系权值向  全部
背景技术：
图像描述是一个计算机视觉和自然语言处理相结合的任务，即给定一张图片，机 器被要求用语言文字来对其进行描述。这项技术有着广泛的引用场景。它可以被用于辅助 盲人感受周围的环境，可以被用于帮助海量图像建立索引，可以被用于建立形式更加丰富 的人机自动对话。图像描述任务中有着大量富有挑战的问题，例如如何决定图像中的哪些 内容值得描述，如何增加图像描述的丰富程度等。其中最为关键的问题是如何更好地建立 图像和语言之间的对应关系。通常而言，这种模型都分为一个图像编码器和语言解码器。图 像编码器将原始图像编码成一种中间表示，然后语言解码器从这种中间表示中将图像描述 解码出来。 在相关技术中，通常使用两种方法获得图像描述，方法一：通过分类网络对原始图 像提取特征图，把特征图作为中间表示，再利用语言解码器将图像描述解码出来。方法二： 利用检测网络得到图像中的一系列物体，将这些物体的视觉特征的集合作为中间表示，再 利用语言解码器将图像描述解码出来。 然而，在方法一中，以特征图作为中间表示，缺乏语义层面的信息，难以描述物体 的个数、大小等图像信息。在方法二中，仅用检测结果作为中间表示，忽略了物体之间的关 系及场景中的组织结构。缺乏结构信息容易导致解码生成图像描述时产生错误的事物联 系。
技术实现要素：
有鉴于此，本公开提出了一种基于场景图的图像描述生成方法及装置。 根据本公开的一方面，提供了一种基于场景图的图像描述生成方法，包括：将待处 理图像输入场景图生成网络，获得待处理图像中各目标对象的视觉特征向量以及各目标对 象之间的关系类别概率分布向量；对所述关系类别概率分布向量进行权值预测处理，获得 所述各目标对象之间的关系权值向量；对所述关系权值向量和所述视觉特征向量进行上下 文编码处理，获得各目标对象的物体特征向量；对所述物体特征向量进行语言解码处理，获 得对所述待处理图像的描述信息。 在一种可能的实现方式中，对所述关系类别概率分布向量进行权值预测处理，获 得所述各目标对象之间的关系权值向量，包括： 将所述关系概率分布向量输入权值预测网络，获得初始关系权值向量； 对所述初始关系权值向量进行归一化处理，获得所述关系权值向量， 其中，所述关系权值向量包括主语关系权值向量和宾语关系权值向量。 在一种可能的实现方式中，对所述初始关系权值向量进行归一化处理，获得所述 关系权值向量，包括：将第i个目标对象与第j个目标对象之间的初始关系权值向量中的第h 4 CN 111612070 A 说　明　书 2/14 页 个元素，以及第i个目标对象与其他N-1个目标对象之间的初始关系权值向量中的第h个元 素进行归一化处理，获得第i个目标对象与第j个目标对象之间的关系权值向量中的第h个 元素，其中，所述关系权值向量包括H个元素，N为目标对象的数量，H≥1，且H为整数，N≥1， 且N为整数，i和j为小于或等于N的正整数，h为小于或等于H的正整数。 在一种可能的实现方式中，对所述关系权值向量和所述视觉特征向量进行上下文 编码处理，获得各目标对象的物体特征向量，包括：根据所述关系权值向量和所述视觉特征 向量，获得各目标对象的上下文特征向量；将所述各目标对象的视觉特征向量和上下文特 征向量进行拼接处理，获得所述各目标对象的物体特征向量。 在一种可能的实现方式中，所述关系权值向量包括主语关系权值向量和宾语关系 权值向量，根据所述关系权值向量和所述视觉特征向量，获得各目标对象的上下文特征向 量，包括：根据所述主语关系权值向量和所述视觉特征向量，获得主语上下文特征向量；根 据所述宾语关系权值向量和所述视觉特征向量，获得宾语上下文特征向量；根据所述主语 上下文特征向量、所述宾语上下文特征向量和所述视觉特征向量，获得所述各目标对象的 上下文特征向量。 在一种可能的实现方式中，所述待处理图像的描述信息包括至少一个词语，对所 述物体特征向量进行语言解码处理，获得对所述待处理图像的描述信息，包括：根据所述各 目标对象的物体特征向量，确定第一个词语的第一隐向量；根据第一个词语的第一隐向量， 确定第一个词语的词向量；根据第t-1个词语的第一隐向量、所述各目标对象的物体特征向 量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，其中，t＞1，且t为整数；根据 第t个词语的第一隐向量，确定第t个词语的词向量；根据各词语的词向量，确定所述待处理 图像的描述信息。 在一种可能的实现方式中，根据第t-1个词语的第一隐向量、所述各目标对象的物 体特征向量以及第t-1个词语的词向量，确定第t个词语的第一隐向量，包括：根据第t-1个 词语的第一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t 个词语的第二隐向量；根据所述各目标对象的物体特征向量以及第t个词语的第二隐向量， 确定第t个词语的特征向量；根据所述第t个词语的第二隐向量以及第t个词语的特征向量， 确定第t个词语的第一隐向量。 根据本公开的另一方面，提供了一种基于场景图的图像描述生成装置，包括：场景 图生成模块，用于将待处理图像输入场景图生成网络，获得待处理图像中各目标对象的视 觉特征向量以及各目标对象之间的关系类别概率分布向量；权值预测模块，用于对所述关 系类别概率分布向量进行权值预测处理，获得所述各目标对象之间的关系权值向量；上下 文编码模块，用于对所述关系权值向量和所述视觉特征向量进行上下文编码处理，获得各 目标对象的物体特征向量；语言解码模块，用于对所述物体特征向量进行语言解码处理，获 得对所述待处理图像的描述信息。 在一种可能的实现方式中，权值预测模块被进一步配置为将所述关系概率分布向 量输入权值预测网络，获得初始关系权值向量；对所述初始关系权值向量进行归一化处理， 获得所述关系权值向量，其中，所述关系权值向量包括主语关系权值向量和宾语关系权值 向量。 在一种可能的实现方式中，权值预测模块被进一步配置为将第i个目标对象与第j 5 CN 111612070 A 说　明　书 3/14 页 个目标对象之间的初始关系权值向量中的第h个元素，以及第i个目标对象与其他N-1个目 标对象之间的初始关系权值向量中的第h个元素进行归一化处理，获得第i个目标对象与第 j个目标对象之间的关系权值向量中的第h个元素，其中，所述关系权值向量包括H个元素，N 为目标对象的数量，H≥1，且H为整数，N≥1，且N为整数，i和j为小于或等于N的正整数，h为 小于或等于H的正整数。 在一种可能的实现方式中，上下文编码模块被进一步配置为根据所述关系权值向 量和所述视觉特征向量，获得各目标对象的上下文特征向量；将所述各目标对象的视觉特 征向量和上下文特征向量进行拼接处理，获得所述各目标对象的物体特征向量。 在一种可能的实现方式中，所述关系权值向量包括主语关系权值向量和宾语关系 权值向量，上下文编码模块被进一步配置为根据所述主语关系权值向量和所述视觉特征向 量，获得主语上下文特征向量；根据所述宾语关系权值向量和所述视觉特征向量，获得宾语 上下文特征向量；根据所述主语上下文特征向量、所述宾语上下文特征向量和所述视觉特 征向量，获得所述各目标对象的上下文特征向量。 在一种可能的实现方式中，所述待处理图像的描述信息包括至少一个词语，语言 解码模块被进一步配置为根据所述各目标对象的物体特征向量，确定第一个词语的第一隐 向量；根据第一个词语的第一隐向量，确定第一个词语的词向量；根据第t-1个词语的第一 隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的第 一隐向量，其中，t＞1，且t为整数；根据第t个词语的第一隐向量，确定第t个词语的词向量； 根据各词语的词向量，确定所述待处理图像的描述信息。 在一种可能的实现方式中，语言解码模块被进一步配置为根据第t-1个词语的第 一隐向量、所述各目标对象的物体特征向量以及第t-1个词语的词向量，确定第t个词语的 第二隐向量；根据所述各目标对象的物体特征向量以及第t个词语的第二隐向量，确定第t 个词语的特征向量；根据所述第t个词语的第二隐向量以及第t个词语的特征向量，确定第t 个词语的第一隐向量。 根据本公开的另一方面，提供了一种基于场景图的图像描述生成装置，包括：处理 器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。 根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有 计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。 根据本公开的实施例的基于场景图的图像描述生成方法，先通过待处理图像得到 视觉特征向量以及各目标对象之间的关系类别概率分布向量的中间表示，再通过该中间表 示得到图像描述，可增加语义层面的信息，并增加物体之间的关系信息和场景中的结构信 息，从而提高图像描述的准确性。 根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得 清楚。 附图说明 包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的 示例性实施例、特征和方面，并且用于解释本公开的原理。 图1示出根据本公开的实施例的基于场景图的图像描述生成方法的流程图。 6 CN 111612070 A 说　明　书 4/14 页 图2示出根据本公开的实施例的基于场景图的图像描述生成方法的示意图。 图3A和图3B示出根据本公开的实施例的场景图的示意图。 图4示出根据本公开的实施例的主语关系权值向量或宾语关系权值向量的示意 图。 图5示出根据本公开的实施例的上下文编码处理的示意图。 图6示出根据本公开的实施例的语言解码处理的示意图。 图7示出根据本公开的实施例的待处理图像的描述信息的示意图。 图8示出根据本公开的实施例的基于场景图的图像描述生成装置的框图。 图9示出根据本公开实施例示出的基于场景图的图像描述生成的装置的框图。 图10示出根据本公开实施例示出的基于场景图的图像描述生成的装置的框图。