
技术摘要:
本发明公开了一种基于大数据的舆情监测平台,涉及大数据采集监测平台领域,包括舆情大数据采集模块、预处理模块、深度加工模块、舆情分析模块、舆情决策模块和显示模块。本发明能够实现大量网络舆情数据的自动采集和处理,大幅提高网络舆情数据的处理效率,及时发现舆 全部
背景技术:
舆情是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,作为主 体的民众对作为客观的社会管理者、企业、个人及其他各类组织及其政治、社会和道德等方 面的取向产生和持有的社会态度。它是较多群众关于社会中各种现象、问题所表达的信念、 态度、意见和情绪等表现的总和。随着社会进入网络时代,舆情出现了新的分支-网络舆情。 网络舆情是社会舆情在互联网空间的映射,是社会舆情的直接反映。舆情是一种民意情况, 是公众对社会生活中各个方面的问题尤其是热点问题的或显或隐的反应。它不仅包括公开 表达的行为、意见和态度,还包括潜在的情绪表现。随着网络信息爆发式增长,传统的数据 处理已经不合适处理这样的数据。互联网环境下的网络舆情并不是网络世界中直接存在的 数据,而是通过相关技术从海量网络数据中经过提取并分析得来的结果。 现有技术中,为了实现对网络舆情的了解,以便采取适当的应对措施,出现了网络 舆情监控系统。然而,现有的网络舆情监控系统只是简单地对相关信息进行检索,并未对其 进行进一步的分析和处理,难以及时发现舆论热点和各类事件的发展趋势。另外,由于网络 舆情数据量的巨大,难以实现海量网络舆情数据的自动采集,舆情数据处理效率低。
技术实现要素:
本发明的目的在于:提供了一种基于大数据的舆情监测平台,以解决上述背景技 术中的问题。 本发明采用的技术方案如下: 本发明是一种基于大数据的舆情监测平台,包括舆情大数据采集模块、预处理模 块、深度加工模块、舆情分析模块、舆情决策模块和显示模块, 舆情大数据采集模块,用于利用机器学习技术或网络爬虫技术采集网络上的舆情 信息,并将采集的舆情信息发送给舆情信息预处理模块; 预处理模块,对舆情采集模块采集的舆情信息进行信息预处理,得到纯净的文本 信息,并将处理后的文本信息发送给深度加工模块; 深度加工模块,对舆情信息预处理模块发送的文本信息数据汇聚后输入到深度学 习模型中进行深度加工,并得到加工后的舆情信息; 舆情分析模块,对加工后的舆情信息进行分词处理和语义分析处理,对成长期和 成熟期的舆情的现状进行风险评估,对未来发展态势进行趋势预测,将预警信息发送给舆 情决策模块; 舆情决策模块,根据舆情分析模块分析的结果和对舆情发展的预测生成决策方 案; 显示模块,用于通过大数据可视化技术将舆情信息和决策方案进行显示。 3 CN 111611464 A 说 明 书 2/5 页 进一步的,所述舆情大数据采集模块包括:信息获取模块,采用网络爬虫技术和机 器学习技术对网络中的数据进行爬取;数据存储模块,将爬取的数据存入大数据数据库;索 引构建模块,在存入数据的同时启动索引后端服务,按时间顺序进行数据库的舆情内容访 问,并根据内容进行倒排索引构建。 进一步的,所述舆情信息包括舆情的内容、发布时间、发布人、评论量、转发量、观 点统计和事件焦点。 进一步的,所述预处理模块中信息预处理具体包括对舆情信息进行去噪除杂、内 容抽取和安全加密中的至少一个。 进一步的,所述舆情分析模包括话题追踪模块、舆情分类模块、热点话题识别模块 和时间更新模块, 话题追踪模块,追踪话题的种类、最新动态、舆情相关作者的动态; 热点话题识别模块,根据语义分析结果,分析舆情的事件属性,并形成事件记录, 并从事件记录中识别舆情信息中的热点话题; 舆情分类模块,根据事件包含的新闻性、网络性和可行性划分多个子类目; 时间更新模块,记录话题的开始和结束时间,并结合热点话题识别模块判断当前 话题是否是热点话题,更新热点话题的时间,根据时间判断热点话题是否失效。 进一步的,所述深度加工模块,具体用于将汇聚后的文本信息数据分成大小固定 的多个分片,并为每个分片创建一个任务;以及根据深度学习模型中节点的处理效率为其 分配对应的任务量,所述节点并行处理各自的任务。 进一步的,所述深度学习模型包括卷积神经网络模型、深度信任网络模型和堆栈 自编码网络模型。 综上所述,由于采用了本技术方案,本发明的有益效果是: 1、本发明是一种基于大数据的舆情监测平台,由于舆情数据爬取通过多种爬虫形 式实现,系统支持的内容更加丰富,同时结合当前的互联网搜索引擎进行修正,充分考虑大 家获取舆情信息的途径,使得系统中舆情内容来源更加合理。 2、本发明是一种基于大数据的舆情监测平台,通过设置舆情分析模块包括话题追 踪模块,话题追踪模块可以追踪话题的种类、最新动态、舆情相关作者的动态,最新动态包 括舆情主体的评论和热度变化等,舆情相关作者的动态包括舆情作者的发帖和交互关系 等,重点统计舆情作者的发帖量、舆论倾向和舆论态度变化,可以全面追踪舆情信息中话题 的种类、最新动态以及舆情态度变化,为后期的舆情决策模块提供分析基础。 3、本发明是一种基于大数据的舆情监测平台,舆情决策模块可以将舆情事件按照 时间线排布,并提出同类事件进行分析,根据以往的舆情事件的发展状态预测既有的舆情 事件发展方向和结果,根据舆情分析模块分析的结果和对舆情发展的预测生成决策方案, 通过大数据可视化技术将舆情信息和决策方案进行显示,从而及时发现舆论热点、各类事 件的发展趋势以及自动生成决策方案。 附图说明 为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附 图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对 4 CN 111611464 A 说 明 书 3/5 页 范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这 些附图获得其他相关的附图,本说明书附图中的各个部件的比例关系不代表实际选材设计 时的比例关系,其仅仅为结构或者位置的示意图,其中: 图1是本发明的结构框图。