logo好方法网

一种文本表示方法及装置


技术摘要:
本申请涉及计算机技术领域,尤其涉及一种文本表示方法及装置,获得待处理文本中各个字的字向量表示;获得所述待处理文本中各个分词的原词向量表示;将所述各个字的字向量表示和对应的各个分词的原词向量表示进行融合,获得所述各个分词的融合向量表示;根据所述各个分  全部
背景技术:
文本表示方法指的是文本的向量化方法,将文本表示为包含语义信息的向量有助 于进行分类、检索和推荐等应用,如何准确地进行文本表示是非常有必要的。 相关技术中,文本表示方法,主要是直接以字或词为最小单元,即元单元,然后将 其转化为向量表示,进而利用相关网络获得句子文本整体的向量表示,但是相关技术中,直 接采用一个字或词作为元单元来进行文本表示,忽略了字词之间的信息,并且单独的一个 字歧义也较大,不能准确地表示文本信息。
技术实现要素:
本申请实施例提供一种文本表示方法及装置,以提高文本表示的准确性。 本申请实施例提供的具体技术方案如下: 本申请一个实施例提供了一种文本表示方法,包括: 获得待处理文本中各个字的字向量表示; 获得所述待处理文本中各个分词的原词向量表示; 将所述各个字的字向量表示和对应的各个分词的原词向量表示进行融合,获得所 述各个分词的融合向量表示; 根据所述各个分词的融合向量表示,获得所述待处理文本的文本向量表示。 本申请另一个实施例提供了一种文本表示装置,包括: 第一获得模块,用于获得待处理文本中各个字的字向量表示; 第二获得模块,用于获得所述待处理文本中各个分词的原词向量表示; 融合模块,用于将所述各个字的字向量表示和对应的各个分词的原词向量表示进 行融合,获得所述各个分词的融合向量表示; 第三获得模块,用于根据所述各个分词的融合向量表示,获得所述待处理文本的 文本向量表示。 本申请另一个实施例提供了一种电子设备,包括存储器、处理器及存储在存储器 上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一种文本表 示方法的步骤。 本申请另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序, 所述计算机程序被处理器执行时实现上述任一种文本表示方法的步骤。 本申请实施例中,获得待处理文本中各个字的字向量表示和各个分词的原词向量 表示,并将各个字的字向量表示和对应的各个分词的原词向量表示进行融合,获得各个分 词的融合向量表示,进而根据各个分词的融合向量表示,获得待处理文本的文本向量表示, 这样,通过融合字词信息,可以充分挖掘文本中字词信息,并考虑字内词间的信息,可以获 4 CN 111581335 A 说 明 书 2/11 页 得更加准确和信息丰富的元单元表示,从而可以丰富文本的信息表示,提高文本向量表示 的准确性。 附图说明 图1为本申请实施例中文本表示方法的应用架构示意图; 图2为本申请实施例中文本表示方法流程图; 图3为本申请实施例中向量相减操作示意图; 图4为本申请实施例中向量相乘操作示意图; 图5为本申请实施例中向量相加操作示意图; 图6为本申请实施例中向量并连操作示意图; 图7为本申请实施例中通过RNN模型融合操作示意图; 图8为本申请实施例中通过CNN模型融合操作示意图; 图9为本申请实施例中通过前馈神经网络模型融合操作示意图; 图10为本申请实施例中张量内积计算操作示意图; 图11为本申请实施例中文本表示装置结构示意图; 图12为本申请实施例中电子设备的结构示意图。
分享到:
收藏