logo好方法网

面向大数据文本挖掘的动态认知语义匹配方法


技术摘要:
本发明公开了一种面向大数据文本挖掘的动态认知语义匹配方法,通过对大数据文本空间进行文本特征和语义空间的量子认知表示,得到表征大数据文本空间语义空间的线性组合,针对所述线性组合采用基于量子概率的关联语义空间发现方法获取所述大数据文本空间的语义表示和语  全部
背景技术:
大数据时代,从海量的非结构化文本数据中挖掘其潜在的价值,成为大数据处理 技术研究的主要动力。综合分析国内外研究和技术现状,在面向大数据文本挖掘的过程中, 以人的认知规律为驱动、语义智能化的动态认知语义空间匹配方面还存在三个主要问题: 1)研究的对象是大数据文本,不能采用传统的认知语义空间方法思路,更多的应 该考虑在特定情境下的认知的局部的形式化,需要建立在动态语义进化情境下,建模能够 可靠合理解释和评价的语义空间匹配来模拟人的各种认知心理现象。 2)面向大数据文本挖掘过程中出现全新涌现语义等现象,不能采用传统的经典概 率理论框架来解释,因此,建模不同的观测视角的自然语言意义理解和语义匹配,传统方法 存在一定局限性,许多现成的文本挖掘理论的结果和工具不能直接利用。 3)针对大数据文本挖掘技术中具有关键支撑作用的、符合人类认知规律的动态认 知语义匹配的各个因素还需继续提炼,松散性的语义关联不能充分应用于海量的文本数据 中发现新的模式、模型、规则、趋势等知识。 因此,研究如何以符合人类认知规律的方式进行认知语义匹配来支持智能的大数 据文本挖掘过程,并且描述和解释在此过程中经典概率理论无法解释的人类自然语言理解 和认知过程,是目前亟待解决的课题。
技术实现要素:
针对以上问题,本发明提出一种面向大数据文本挖掘的动态认知语义匹配方法。 为实现本发明的目的,提供一种面向大数据文本挖掘的动态认知语义匹配方法, 包括如下步骤: S10,对大数据文本空间进行文本特征和语义空间的量子认知表示,得到表征大数 据文本空间语义空间的线性组合; S20,针对所述线性组合采用基于量子概率的关联语义空间发现方法获取所述大 数据文本空间的语义表示和语义建模,根据语义表示和语义建模进行建模,得到初始匹配 模型; S30,采用深度神经网络针对所述初始匹配模型计算词间的语义关系,获得动态认 知语义空间预测模型,采用动态认知语义空间预测模型对待匹配语句进行语义匹配。 在一个实施例中,所述对大数据文本空间进行文本特征和语义空间的量子认知表 示,得到表征大数据文本空间语义空间的线性组合包括: 基于量子认知理论中对情境的隐含考虑,获取大数据文本空间的基本状态所构成 的量子态向量; 3 CN 111552816 A 说 明 书 2/8 页 根据所述量子态向量采用超空间模拟语言模型在量子认知和语义空间之间建立 关联,将大数据文本空间的文本特征和语义空间嵌入到量子理论中,以将量子描述方法引 入代表人类认知行为现象的认知语义空间,得到表征大数据文本空间语义空间的线性组 合。 作为一个实施例,所述量子态向量包括: B={|S1>,K,|Sn>}, 其中|Si>表示第i个基本状态,B表示量子态向量,i的取值为1、Λ、n。 在一个实施例中,所述针对所述线性组合采用基于量子概率的关联语义空间发现 方法获取所述大数据文本空间的语义表示和语义建模包括: 将目标词的关联网络建模为复合量子系统,在复合量子系统中形式化认知的过 程,用状态向量|11K  1>表示目标词及其所有的关联都被激活的量子系统的状态,用状态向 量|00K  0>对应于没有词及关联被激活的量子系统的状态; 针对所述线性组合采用状态向量|11K  1>和状态向量|00K  0>获取所述大数据文 本空间的语义表示和语义建模。 作为一个实施例,所述目标词及其整个关联结构的激活过程,表征一个量子态的 叠加及纠缠的过程。 在一个实施例中,所述采用深度神经网络针对所述初始匹配模型计算词间的语义 关系包括: 采用深度循环神经网络RNN模型来捕捉长距离语义情境依赖,得到语义情境依赖 信息; 根据所述语义情境依赖信息针对所述初始匹配模型计算词间的语义关系。 上述面向大数据文本挖掘的动态认知语义匹配方法,通过对大数据文本空间进行 文本特征和语义空间的量子认知表示,得到表征大数据文本空间语义空间的线性组合,针 对所述线性组合采用基于量子概率的关联语义空间发现方法获取所述大数据文本空间的 语义表示和语义建模,根据语义表示和语义建模进行建模,得到初始匹配模型,采用深度神 经网络针对所述初始匹配模型计算词间的语义关系,获得动态认知语义空间预测模型,采 用动态认知语义空间预测模型对待匹配语句进行语义匹配,以实现对待匹配语句的语义匹 配。其面向大数据空间,采用量子认知框架,建模和解释在大数据文本挖掘的动态情境进化 过程中,经典概率理论无法解释的全新语义涌现等自然语言理解和认知现象,形式化地建 模在语义空间进化认知过程中的语境、语义等方面的不确定性,解决了面向大数据文本挖 掘过程的认知语义匹配进化过程中如何将人的认知过程等不确定性形式化的问题,比以往 的文本挖掘语义空间建模技术更具有通用型和实际价值。 附图说明 图1是一个实施例的面向大数据文本挖掘的动态认知语义匹配方法流程示意图; 图2是另一个实施例的面向大数据文本挖掘的动态认知语义匹配方法流程示意 图。 4 CN 111552816 A 说 明 书 3/8 页
分享到:
收藏