logo好方法网

一种数据处理方法以及设备


技术摘要:
本申请实施例公开一种数据处理方法以及设备,其中方法包括如下步骤:采集应用程序中目标线程的运行指标;将所述运行指标进行序列化处理,得到序列文件;将所述序列文件进行分页处理,得到文件分页,存储所述文件分页;响应针对所述应用程序的指标显示操作,从所述文件  全部
背景技术:
为了保证系统的正常运行,需要对程序运行状态信息进行采集,传统的信息采集 主要以日志的方式记录程序的运行流程,然后将日志写入文件,通过分析日志来定位程序 异常问题。以日志的方式定位程序异常问题,可以解决一些常见的问题,但作为全局的系 统,依然存在着一些问题:例如,将采集到的日志保存到文件,文件过于冗余,对终端的I/O (输入输出)消耗很大;同时,日志文件缺少分析工具方式,问题分析排查都需要人工阅读, 导致排查问题的效率低下。
技术实现要素:
本申请实施例提供一种数据处理方法以及设备,可以提高对应用程序中数据分析 的效率。 本申请实施例一方面提供了一种数据处理方法,可包括: 采集应用程序中目标线程的运行指标; 将所述运行指标进行序列化处理,得到序列文件; 将所述序列文件进行分页处理,得到文件分页,存储所述文件分页; 响应针对所述应用程序的指标显示操作,从所述文件分页中读取所述序列文件; 将所述序列文件转换为所述指标显示操作所指示的统计数据,在指标统计页面中 显示所述统计数据。 其中,还包括: 对所述运行指标的层级路径信息进行哈希转换,生成层级路径信息对应的哈希 值,将所述哈希值作为所述运行指标的路径标志; 对所述运行指标进行压缩处理,将压缩处理后的运行指标和所述路径标志存储至 所述目标线程对应的临时存储空间;所述临时存储空间是在目标线程启动时所分配的; 则所述将所述运行指标进行序列化处理,得到序列文件,包括: 从所述临时存储空间中获取压缩处理后的运行指标,将所述压缩处理后的运行指 标通过序列化函数生成字节序列; 将所述字节序列存储至具有目标格式的文件中,将所述路径标志作为所述文件的 文件名称,将存储所述字节序列的文件确定为序列文件。 其中,所述采集应用程序中目标线程的运行指标,包括: 获取应用程序中目标线程的锚点信息,根据所述锚点信息确定对目标线程进行运 行指标采集的位置信息; 根据所述位置信息采集应用程序中目标线程的运行指标。 其中,所述将所述序列文件进行分页处理,得到文件分页,存储所述文件分页,包 4 CN 111597098 A 说 明 书 2/12 页 括: 获取所述序列文件的文件属性,将所述序列文件存储至文件分页集合中所述文件 属性对应的文件分页中,所述文件分页集合中包括至少一个文件分页; 以所述文件分页为存储单位对所述序列文件进行存储。 其中,还包括: 对所述文件分页进行存储之前,将所述文件分页在备份存储空间中进行备份; 当所述文件分页存储成功时,将所述文件分页从所述备份存储空间中删除; 当接收到所述应用程序的启动指令时,若所述备份存储空间中存在文件分页,则 将所述备份存储空间中的文件分页进行恢复。 其中,所述响应针对所述应用程序的指标显示操作,从所述文件分页中读取所述 序列文件,包括: 响应针对所述应用程序的指标显示操作,根据所述指标显示操作中携带的路径标 志从配置表中获取对应的哈希值;所述配置表用于存储路径标志和哈希值的对应关系; 根据所述哈希值从文件分页中获取所述哈希值对应的序列文件。 其中,所述将所述序列文件转换为所述指标显示操作所指示的统计数据,在指标 统计页面中显示所述统计数据,包括: 将所述序列文件中的字节序列,通过反序列化函数生成字节序列对应的运行指 标; 根据所述指标显示操作将所述运行指标进行预处理,根据预处理后的运行指标生 成指标显示操作所指示的统计数据,在指标统计页面中显示所述统计数据。 本申请实施例一方面提供了一种数据处理设备,可包括: 指标采集单元,用于采集应用程序中目标线程的运行指标; 文件生成单元,用于将所述运行指标进行序列化处理,得到序列文件; 文件存储单元,用于将所述序列文件进行分页处理,得到文件分页,存储所述文件 分页; 文件读取单元,用于响应针对所述应用程序的指标显示操作,从所述文件分页中 读取所述序列文件; 数据显示单元,用于将所述序列文件转换为所述指标显示操作所指示的统计数 据,在指标统计页面中显示所述统计数据。 其中,还包括: 信息转换单元,用于对所述运行指标的层级路径信息进行哈希转换,生成层级路 径信息对应的哈希值,将所述哈希值作为所述运行指标的路径标志;对所述运行指标进行 压缩处理,将压缩处理后的运行指标和所述路径标志存储至所述目标线程对应的临时存储 空间;所述临时存储空间是在目标线程启动时所分配的; 则所述文件生成单元具体用于: 从所述临时存储空间中获取压缩处理后的运行指标,将所述压缩处理后的运行指 标通过序列化函数生成字节序列; 将所述字节序列存储至具有目标格式的文件中,将所述路径标志作为所述文件的 文件名称,将存储所述字节序列的文件确定为序列文件。 5 CN 111597098 A 说 明 书 3/12 页 其中,所述指标采集单元具体用于: 获取应用程序中目标线程的锚点信息,根据所述锚点信息确定对目标线程进行运 行指标采集的位置信息; 根据所述位置信息采集应用程序中目标线程的运行指标。 其中,所述文件存储单元具体用于: 获取所述序列文件的文件属性,将所述序列文件存储至文件分页集合中所述文件 属性对应的文件分页中,所述文件分页集合中包括至少一个文件分页; 以所述文件分页为存储单位对所述序列文件进行存储。 其中,还包括: 数据备份单元,用于对所述文件分页进行存储之前,将所述文件分页在备份存储 空间中进行备份; 当所述文件分页存储成功时,将所述文件分页从所述备份存储空间中删除; 当接收到所述应用程序的启动指令时,若所述备份存储空间中存在文件分页,则 将所述备份存储空间中的文件分页进行恢复。 其中,所述文件读取单元具体用于: 响应针对所述应用程序的指标显示操作,根据所述指标显示操作中携带的路径标 志从配置表中获取对应的哈希值;所述配置表用于存储路径标志和哈希值的对应关系; 根据所述哈希值从文件分页中获取所述哈希值对应的序列文件。 其中,所述数据显示单元具体用于: 将所述序列文件中的字节序列,通过反序列化函数生成字节序列对应的运行指 标; 根据所述指标显示操作将所述运行指标进行预处理,根据预处理后的运行指标生 成指标显示操作所指示的统计数据,在指标统计页面中显示所述统计数据。 本申请实施例一方面提供了一种计算机可读存储介质,所述计算机存储介质存储 有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。 本申请实施例一方面提供了一种计算机设备,包括处理器和存储器;其中,所述存 储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。 在本申请实施例中,通过采集应用程序中目标线程的运行指标;将所述运行指标 进行序列化处理,得到序列文件;将所述序列文件进行分页处理,得到文件分页,存储所述 文件分页;响应针对所述应用程序的指标显示操作,从所述文件分页中读取所述序列文件; 将所述序列文件转换为所述指标显示操作所指示的统计数据,在指标统计页面中显示所述 统计数据。通过对文件进行分页处理,可以减少终端中I/O读写的频率,避免了对终端的I/O (输入输出)消耗过大的问题,通过将运行指标转换为统计数据,便于对应用程序进行数据 分析和问题排查,提高了对应用程序中数据分析的效率。 附图说明 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 6 CN 111597098 A 说 明 书 4/12 页 根据这些附图获得其他的附图。 图1是本申请实施例提供的一种数据处理的系统架构图; 图2是本申请实施例提供的一种数据处理方法的流程示意图; 图3是本申请实施例提供的一种数据处理方法的流程示意图; 图4a是本申请实施例提供的一种文件分页的举例示意图; 图4b是本申请实施例提供的一种数据采集和分析的举例示意图; 图4c是本申请实施例提供的一种指标统计页面的举例示意图; 图5是本申请实施例提供的一种数据处理设备的结构示意图; 图6是本申请实施例提供的一种计算机设备的结构示意图。
分享到:
收藏