技术摘要：
本申请实施例公开了用于生成图像描述信息的方法和装置。该方法的一具体实施方式包括：获取待描述图像；将该待描述图像输入至预先训练的图像描述模型，生成图像描述信息，其中，该图像描述模型用于表征图像描述信息与待描述图像之间的对应关系，该图像描述模型中包括基  全部
背景技术：
包 括：获取待描述图像；将该待描述图像输入至预 先训练的图像描述模型，生成图像描述信息，其 中，该图像描述模型用于表征图像描述信息与待 描述图像之间的对应关系，该图像描述模型中包 括基于注意力机制的图表示网络，该图表示网络 用于提取该待描述图像中的实例和实例之间的 关系。该实施方式有效地利用了图像中所包括的 位置信息，有助于更准确地生成图像描述信息。 CN 111611420 A CN 111611420 A 权　利　要　求　书 1/1 页 1.一种用于生成图像描述信息的方法，包括： 获取待描述图像； 将所述待描述图像输入至预先训练的图像描述模型，生成图像描述信息，其中，所述图 像描述模型用于表征图像描述信息与待描述图像之间的对应关系，所述图像描述模型中包 括基于注意力机制的图表示网络，所述图表示网络用于提取所述待描述图像中的实例和实 例之间的关系。 2.根据权利要求1所述的方法，其中，所述图表示网络的输入包括：实例查询向量、实例 键向量、实例值向量、关系查询向量、关系键向量、关系值向量、关系构建向量，其中，所述关 系构建向量用于表征实例之间是否具备关系。 3.根据权利要求2所述的方法，其中，所述图表示网络的输入还包括：门向量，其中，所 述门向量用于表征图像中各通道的特征。 4.根据权利要求3所述的方法，其中，所述关系包括以下至少一项：一对一关系，一对多 关系。 5.根据权利要求1-4之一所述的方法，其中，所述图像描述模型包括编码网络和解码网 络，所述编码网络和解码网络分别包括所述图表示网络；以及 所述将所述待描述图像输入至预先训练的图像描述模型，生成图像描述信息，包括： 基于所述待描述图像提取特征，生成图像特征表示，其中，所述图像特征表示包括实例 特征和关系特征； 将所述实例特征和关系特征输入至所述包括图表示网络的编码网络，生成编码向量； 基于将所述编码向量输入所述包括图表示网络的解码网络，生成所述图像描述信息。 6.根据权利要求5所述的方法，其中，所述基于所述待描述图像提取特征，生成图像特 征表示，包括： 将所述待描述图像输入预先训练的特征提取网络，生成初始特征表示； 将所述初始特征表示与预设的位置编码进行结合，生成所述图像特征表示。 7.根据权利要求6所述的方法，其中，所述位置编码包括二维位置编码。 8.一种用于生成图像描述信息的装置，包括： 获取单元，被配置成获取待描述图像； 生成单元，被配置成将所述待描述图像输入至预先训练的图像描述模型，生成图像描 述信息，其中，所述图像描述模型用于表征图像描述信息与待描述图像之间的对应关系，所 述图像描述模型中包括基于注意力机制的图表示网络，所述图表示网络用于提取所述待描 述图像中的实例和实例之间的关系。 9.一种电子设备，包括： 一个或多个处理器； 存储装置，其上存储有一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实 现如权利要求1-7中任一所述的方法。 10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现 如权利要求1-7中任一所述的方法。 2 CN 111611420 A 说　明　书 1/9 页 用于生成图像描述信息的方法和装置 技术领域 本申请实施例涉及计算机技术领域，具体涉及用于生成图像描述信息的方法和装 置。
技术实现要素：
随着人工智能技术的飞速发展，图像描述(image  caption)任务也取得了越来越 多的应用。 相关的方式通常包括利用不同的感受野(Receptive  Field)从图像中提取实例 (instance)，进而根据图像语义信息确定位置，从而生成图像描述信息。