
技术摘要:
本发明提供了一种状态数据处理方法、装置及计算机设备,在接收到目标智能设备上报的状态数据后,按照设定格式生成对应的业务日志,将业务日志放置至Flume组件对应的日志目录中,实现对状态数据的整合,由Flume组件按照设定采集规则,将日志目录中的所有业务日志取出发 全部
背景技术:
随着智能家居的发展,智能设备的使用也越来越普遍。智能设备与服务器之间需 要经常进行数据交互,例如,智能设备将状态数据上报给服务器,为了便于后续进行数据统 计,服务器需要将智能设备上报的状态数据进行持久化处理。传统处理方式是服务器在每 接收到智能设备上报的状态数据后,则直接将这些状态数据存储到数据库中,在进行数据 统计时,从数据库中存储的状态数据中进行计算,以对统计结果进行响应。然而数据库中存 储的数据量较大,计算统计过程耗费时间较长,从而影响服务器的响应速度。因此,需要提 供一种快速高效的数据处理方案,以解决现有技术存在的问题。
技术实现要素:
本发明实施例提供了一种状态数据处理方法、装置及计算机设备,以对状态数据 快速高效的进行处理,提高服务器性能。 第一方面,本发明实施例提供了一种状态数据处理方法,包括 接收目标智能设备上报的状态数据,并对所述状态数据进行解析; 根据解析后的所述状态数据,按照预设格式,生成对应的业务日志; 将生成的所述业务日志放置至Flume组件对应的日志目录中; 利用所述Flume组件,按照设定采集规则,将所述日志目录中的所有业务日志取 出,发送至分布式系统基础架构Hadoop; 所述Hadoop中的pig处理框架对接收到的业务日志进行分析,以针对不同业务需 求生成不同的统计数据,并生成用于表述相应统计数据的sql语句; 采用linux命令将生成的sql语句存储到数据库中。 优选地,进一步包括:预先存储有若干解析协议,每一个解析协议对应不同的智能 设备; 所述对所述状态数据进行解析,包括:确定所述目标智能设备对应的目标解析协 议,从预先存储的若干解析协议中选择出所述目标解析协议,利用所述目标解析协议对所 述状态数据进行解析。 优选地,在所述采用linux命令将生成的sql语句存储到数据库中之前,进一步包 括:将生成的sql语句整合到目标文件夹中; 所述采用linux命令将生成的sql语句存储到数据库中,包括:采用Linux命令执行 所述目标文件夹中包含的sql语句,以将所述目标文件夹中包含的sql语句存储到数据库 中。 优选地,在所述生成对应的业务日志之后,进一步包括:将生成的所述业务日志进 4 CN 111611207 A 说 明 书 2/8 页 行本地备份; 优选地,所述设定采集规则包括:每隔设定时间段采集一次,或,每当所述日志目 录中放置的业务日志量达到设定数量则采集一次。 第二方面,本发明实施例提供了一种状态数据处理装置,包括: 数据处理模块,用于接收目标智能设备上报的状态数据,并对所述状态数据进行 解析,根据解析后的所述状态数据,按照预设格式,生成对应的业务日志,将生成的所述业 务日志放置至Flume组件对应的日志目录中; 所述Flume组件,用于按照设定采集规则,将所述日志目录中的所有业务日志取 出,发送至分布式系统基础架构Hadoop; 所述Hadoop中的pig处理框架,用于对接收到的业务日志进行分析,以针对不同业 务需求生成不同的统计数据,并生成用于表述相应统计数据的sql语句; Linux命令调用模块,用于调用Linux命令将生成的sql语句存储到数据库中。 优选地,进一步包括:第一存储模块,用于预先存储有若干解析协议,每一个解析 协议对应不同的智能设备; 所述数据处理模块在对所述状态数据进行解析时,具体包括:确定所述目标智能 设备对应的目标解析协议,从预先存储的若干解析协议中选择出所述目标解析协议,利用 所述目标解析协议对所述状态数据进行解析。 优选地,进一步包括:整合模块,用于将生成的sql语句整合到目标文件夹中; 所述Linux命令调用模块,用于采用Linux命令执行所述目标文件夹中包含的sql 语句,以将所述目标文件夹中包含的sql语句存储到数据库中。 优选地,进一步包括:第二存储模块,用于将生成的所述业务日志进行本地备份; 优选地,所述设定采集规则包括:每隔设定时间段采集一次,或,每当所述日志目 录中放置的业务日志量达到设定数量则采集一次。 第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器以及存储 在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上 述任一项所述方法的步骤。 第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机 程序,所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。 本发明实施例提供了一种状态数据处理方法、装置及计算机设备,在接收到目标 智能设备上报的状态数据后,不是直接执行存储过程,而是解析出状态数据,并按照设定格 式生成对应的业务日志,将业务日志放置至Flume组件对应的日志目录中,实现对状态数据 的整合,由Flume组件按照设定采集规则,将日志目录中的所有业务日志取出发送至 Hadoop,由Hadoop中的pig处理框架对所有的业务日志进行分析,pig处理框架可以用于分 析较大数据集,可以快速针对不同业务需求生成不同的统计数据,通过生成用于表述相应 统计数据的sql语句,将sql语句存储到数据库中,从而完成对大量状态数据的统计分析和 存储,在需要进行数据统计展示时,可以直接将数据库中的sql语句表述的统计数据进行响 应,从而可以提高服务器的响应速度。 5 CN 111611207 A 说 明 书 3/8 页 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据 这些附图获得其他的附图。 图1是本发明一实施例提供的一种状态数据处理方法流程图; 图2是本发明一实施例提供的另一种状态数据处理方法流程图; 图3是本发明一实施例提供的一种状态数据处理装置结构示意图; 图4是本发明一实施例提供的一种计算机设备的硬件架构图。