
技术摘要:
本申请公开了一种实体识别模型训练的方法以及相关装置,涉及人工智能的自然语言处理技术,可以应用于智能问答的过程中。通过获取实体训练数据;并识别实体训练数据中的实体信息;然后基于实体信息抽取关联信息,以生成训练序列,关联信息基于至少一个维度信息确定,维 全部
背景技术:
自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智 能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种 理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领 域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联 系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、信息检索、机器人问答系统 和知识图谱等技术。 其中,知识图谱可以为文本处理、语义理解、机器翻译、信息检索、机器人问答系统 等多种自然语言处理技术提供知识源,即进行实体识别的过程。一般可以通过判断句子是 否是包含实体定义的句子来确定实体。 但是,由于上述方法在句子识别的过程中比较宽泛,没有识别出具体的实体及定 义信息,容易造成实体识别错误,影响实体识别的准确性。
技术实现要素:
有鉴于此,本申请提供一种实体识别模型训练的方法,可以有效避免由于训练样 本的原因造成的实体识别错误,提高实体识别模型识别过程的准确性。 本申请第一方面提供一种实体识别模型训练的方法,可以应用于终端设备中包含 模型训练功能的系统或程序中,具体包括:获取实体训练数据; 识别所述实体训练数据中的实体信息; 基于所述实体信息抽取关联信息,以生成训练序列,所述关联信息基于至少一个 维度信息确定,所述维度信息基于所述实体信息的语义特征所得; 根据所述训练序列训练识别模型,所述识别模型用于对所述实体信息进行识别。 可选的,在本申请一些可能的实现方式中,所述基于所述实体信息抽取关联信息, 以生成训练序列,包括: 确定所述实体信息中的词信息; 基于所述词信息进行关联,以得到关联信息; 根据预设规则对所述词信息和所述关联信息进行拼接,以生成所述训练序列,所 述预设规则基于所述词信息的位置确定。 可选的,在本申请一些可能的实现方式中,所述方法还包括: 获取所述词信息和所述关联信息拼接过程中的交叉熵; 根据所述交叉熵获取第一损失函数,所述第一损失函数用于指示所述识别模型的 参数调整。 4 CN 111597804 A 说 明 书 2/15 页 可选的,在本申请一些可能的实现方式中,所述方法还包括: 基于所述词信息的位置设置标签标识; 根据所述标签标识对所述训练序列进行更新。 可选的,在本申请一些可能的实现方式中,所述根据所述训练序列训练识别模型, 包括: 获取所述实体信息在所述实体训练数据中的原始定义信息; 基于余弦相似性获取所述原始定义信息和所述关联信息的相似度分数; 根据所述相似度分数确定第二损失函数,以对所述识别模型进行训练。 可选的,在本申请一些可能的实现方式中,所述根据所述训练序列训练识别模型, 包括: 根据所述实体信息的所述语义特征确定所述实体信息和所述关联信息的匹配信 息; 根据所述匹配信息确定第三损失函数,以对所述识别模型进行训练。 可选的,在本申请一些可能的实现方式中,所述根据所述实体信息的所述语义特 征确定所述实体信息和所述关联信息的匹配信息,包括: 根据所述语义特征确定所述关联信息的句子分类信息; 根据所述句子分类信息确定所述实体信息与所述关联信息的匹配概率,以确定所 述匹配信息。 可选的,在本申请一些可能的实现方式中,所述方法还包括: 根据所述语义特征确定所述关联信息中的关系对; 基于所述关系对的相关性进行分类,以确定第四损失函数; 根据所述第四损失函数对所述识别模型的训练参数进行更新。 可选的,在本申请一些可能的实现方式中,所述基于所述关系对的相关性进行分 类,以确定第四损失函数,包括: 在所述实体信息中插入词平均向量,以得到实体向量,所述词平均向量基于至少 两个预设词所得; 将所述关联信息进行平均池化,以得到关联向量; 将所述实体向量和所述关联向量进行拼接,以得到判别向量; 基于所述判别向量对所述关系对的相关性进行分类,以确定第四损失函数。 可选的,在本申请一些可能的实现方式中,所述基于所述实体信息抽取关联信息, 以生成训练序列,包括: 基于所述实体信息确定端点信息,所述端点信息包括至少两个词信息; 根据所述端点信息抽取关联信息,以生成训练序列。 可选的,在本申请一些可能的实现方式中,所述方法还包括: 获取人工标注的验证集; 根据所述验证集对所述识别模型进行验证。 可选的,在本申请一些可能的实现方式中,所述实体信息为专有名词,所述识别模 型用于根据所述专有名词生成定义信息。 本申请第二方面提供一种实体识别模型训练的装置,包括:获取单元,用于获取实 5 CN 111597804 A 说 明 书 3/15 页 体训练数据; 识别单元,用于识别所述实体训练数据中的实体信息; 抽取单元,用于基于所述实体信息抽取关联信息,以生成训练序列,所述关联信息 基于至少一个维度信息确定,所述维度信息基于所述实体信息的语义特征所得; 训练单元,用于根据所述训练序列训练识别模型,所述识别模型用于对所述实体 信息进行识别。 可选的,在本申请一些可能的实现方式中,所述抽取单元,具体用于确定所述实体 信息中的词信息; 所述抽取单元,具体用于基于所述词信息进行关联,以得到关联信息; 所述抽取单元,具体用于根据预设规则对所述词信息和所述关联信息进行拼接, 以生成所述训练序列,所述预设规则基于所述词信息的位置确定。 可选的,在本申请一些可能的实现方式中,所述抽取单元,还用于获取所述词信息 和所述关联信息拼接过程中的交叉熵; 所述抽取单元,还用于根据所述交叉熵获取第一损失函数,所述第一损失函数用 于指示所述识别模型的参数调整。 可选的,在本申请一些可能的实现方式中,所述抽取单元,还用于基于所述词信息 的位置设置标签标识; 所述抽取单元,还用于根据所述标签标识对所述训练序列进行更新。 可选的,在本申请一些可能的实现方式中,所述训练单元,具体用于获取所述实体 信息在所述实体训练数据中的原始定义信息; 所述训练单元,具体用于基于余弦相似性获取所述原始定义信息和所述关联信息 的相似度分数; 所述训练单元,具体用于根据所述相似度分数确定第二损失函数,以对所述识别 模型进行训练。 可选的,在本申请一些可能的实现方式中,所述训练单元,具体用于根据所述实体 信息的所述语义特征确定所述实体信息和所述关联信息的匹配信息; 所述训练单元,具体用于根据所述匹配信息确定第三损失函数,以对所述识别模 型进行训练。 可选的,在本申请一些可能的实现方式中,所述训练单元,具体用于根据所述语义 特征确定所述关联信息的句子分类信息; 所述训练单元,具体用于根据所述句子分类信息确定所述实体信息与所述关联信 息的匹配概率,以确定所述匹配信息。 可选的,在本申请一些可能的实现方式中,所述训练单元,还用于根据所述语义特 征确定所述关联信息中的关系对; 所述训练单元,还用于基于所述关系对的相关性进行分类,以确定第四损失函数; 所述训练单元,还用于根据所述第四损失函数对所述识别模型的训练参数进行更 新。 可选的,在本申请一些可能的实现方式中,所述训练单元,具体用于在所述实体信 息中插入词平均向量,以得到实体向量,所述词平均向量基于至少两个预设词所得; 6 CN 111597804 A 说 明 书 4/15 页 所述训练单元,具体用于将所述关联信息进行平均池化,以得到关联向量; 所述训练单元,具体用于将所述实体向量和所述关联向量进行拼接,以得到判别 向量; 所述训练单元,具体用于基于所述判别向量对所述关系对的相关性进行分类,以 确定第四损失函数。 可选的,在本申请一些可能的实现方式中,所述抽取单元,具体用于基于所述实体 信息确定端点信息,所述端点信息包括至少两个词信息; 所述抽取单元,具体用于根据所述端点信息抽取关联信息,以生成训练序列。 可选的,在本申请一些可能的实现方式中,所述获取单元,还用于获取人工标注的 验证集; 所述获取单元,还用于根据所述验证集对所述识别模型进行验证。 本申请第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述 存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面 或第一方面任一项所述的模型训练的方法。 本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储 有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的 模型训练的方法。 从以上技术方案可以看出,本申请实施例具有以下优点: 通过获取实体训练数据;并识别实体训练数据中的实体信息;然后基于实体信息 抽取关联信息,以生成训练序列,关联信息基于至少一个维度信息确定,维度信息基于实体 信息的语义特征所得;进而根据训练序列训练识别模型,识别模型用于对实体信息进行识 别。由于识别模型基于实体信息所得,其关联信息复杂度较低,减少了模型训练的任务量; 且由于训练序列中的相关性高,提高了实体识别模型识别过程的准确性。 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 提供的附图获得其他的附图。 图1为实体识别模型训练系统运行的网络架构图; 图2为本申请实施例提供的一种实体识别模型训练的流程架构图; 图3为本申请实施例提供的一种实体识别模型训练的方法的流程图; 图4为本申请实施例提供的一种场景流程图; 图5为本申请实施例提供的一种实体识别的方法的流程图; 图6为本申请实施例提供的一种实体识别的方法的场景示意图; 图7为本申请实施例提供的一种实体识别模型训练装置的结构示意图; 图8为本申请实施例提供的一种终端设备的结构示意图。 7 CN 111597804 A 说 明 书 5/15 页