logo好方法网

一种分析网站故障的方法、装置、存储介质及计算机设备


技术摘要:
本发明公开了一种分析网站故障的方法、装置、存储介质及计算机设备。所公开的方法包括:采用至少一种第一统计方法,针对日志数据中的数值字段和/或非数值字段进行第一次数值统计,获取第一数值统计序列;采用至少四种不同的第二统计方法,分别针对第一数值统计序列进行  全部
背景技术:
网站的系统日志是用于分析、定位、解决网站故障的重要数据。现有技术在对网站 故障进行处理时,通常都是通过运维工程师人工查看系统日志来分析、定位、解决故障的。 因此,现有技术方案具有以下缺点: 1、需要大量人工成本来筛查海量日志,故障的分析和处理完全依赖运维工程师的 个人经验和对整个系统架构的了解。 2、对于相同的故障也需要进行大量的重复劳动。 3、问题的人工排查、修复时间长,增加了网站服务故障的持续时间和成本。 因此,需要提出能够自动分析网站故障的技术方案。
技术实现要素:
根据本发明的分析网站故障的方法,包括: 采用至少一种第一统计方法,针对日志数据中的数值字段和/或非数值字段进行 第一次数值统计,获取第一数值统计序列; 采用至少四种不同的第二统计方法,分别针对第一数值统计序列进行第二次数值 统计,获取第二数值统计序列; 剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统计误差超过预 定误差的第二数值统计序列,得到用于分析网站故障的、针对每一个第一数值统计序列的 第三数值统计序列; 基于针对至少一个第一数值统计序列的第三数值统计序列的统计结果的投票结 果,确定可能导致网站故障的异常及异常时刻。 根据本发明的分析网站故障的方法,还包括: 采用至少一种第三统计方法,针对各个第一数值统计序列进行第三次数值统计, 得到第四数值统计序列; 采用至少一种第四统计方法,针对指定时间段内的异常时刻序列进行第四次数值 统计,得到第五数值统计序列; 将第五数值统计序列的统计结果进行排序,将排序结果靠前的异常及异常时刻关 联到指定时间段内的自定义事件, 其中,自定义事件包括下列中的至少一种:第一数值统计序列、第二数值统计序列 的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事 件,指定时间段是包含自定义事件的指定时间段。 根据本发明的分析网站故障的方法,还包括: 4 CN 111555895 A 说 明 书 2/6 页 将同时包含异常及与该异常关联的自定义事件的情况确定为网站故障。 根据本发明的分析网站故障的方法,其第一统计方法包括:信息熵、单位时间内累 加和平均数值、相邻数值的差值,其第二统计方法包括:指数平滑、多层感知、线性回归、分 位数、标准差,其第三统计方法包括:正比、反比、关联度,其第四统计方法包括:绝对值正 比、变化率正比、数据来源关联度反比、时间差反比,其日志数据包括:非安全产品日志数据 和安全产品日志数据。 根据本发明的分析网站故障的装置,包括: 第一统计模块,用于采用至少一种第一统计方法,针对日志数据中的数值字段和/ 或非数值字段进行第一次数值统计,获取第一数值统计序列; 第二统计模块,用于采用至少四种不同的第二统计方法,分别针对第一数值统计 序列进行第二次数值统计,获取第二数值统计序列; 选择模块,用于剔除针对每一个第一数值统计序列的、第二数值统计序列中的、统 计误差超过预定误差的第二数值统计序列,得到用于分析网站故障的、针对每一个第一数 值统计序列的第三数值统计序列; 异常检测模块,用于基于针对至少一个第一数值统计序列的第三数值统计序列的 统计结果的投票结果,确定可能导致网站故障的异常及异常时刻。 根据本发明的分析网站故障的装置,还包括: 第三统计模块,用于采用至少一种第三统计方法,针对各个第一数值统计序列进 行第三次数值统计,得到第四数值统计序列; 第四统计模块,用于采用至少一种第四统计方法,针对指定时间段内的异常时刻 序列进行第四次数值统计,得到第五数值统计序列; 关联模块,用于将第五数值统计序列的统计结果进行排序,将排序结果靠前的异 常及异常时刻关联到指定时间段内的自定义事件, 其中,自定义事件包括下列中的至少一种:第一数值统计序列、第二数值统计序列 的变化率、比率、上限、下限分别大于预定变化率阈值、比率阈值、上限阈值、下限阈值的事 件,指定时间段是包含自定义事件的指定时间段。 根据本发明的分析网站故障的装置,还包括: 故障确定模块,用于将同时包含异常及与该异常关联的自定义事件的情况确定为 网站故障。 根据本发明的分析网站故障的装置,其第一统计方法包括:信息熵、单位时间内累 加和平均数值、相邻数值的差值,其第二统计方法包括:指数平滑、多层感知、线性回归、分 位数、标准差,其第三统计方法包括:正比、反比、关联度,其第四统计方法包括:绝对值正 比、变化率正比、数据来源关联度反比、时间差反比,其日志数据包括:非安全产品日志数据 和安全产品日志数据。 根据本发明的存储介质,该存储介质上存储有计算机程序,该程序被处理器执行 时实现上文所述方法的步骤。 根据本发明的计算机设备,包括存储器、处理器及存储在存储器上并可在处理器 上运行的计算机程序,处理器执行程序时实现上文所述方法的步骤。 根据本发明的上述技术方案,能够自动监控网站异常。 5 CN 111555895 A 说 明 书 3/6 页 附图说明 并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与 相关的文字描述一起用于解释本发明的原理。在这些附图中,类似的附图标记用于表示类 似的要素。下面描述中的附图是本发明的一些实施例,而不是全部实施例。对于本领域普通 技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。 图1示例性地示出了根据本发明的分析网站故障的方法的示意流程图。 图2示例性地示出了根据本发明的分析网站故障的装置的示意框图。 图3示例性地示出了可以实现根据本发明的上述技术方案的一个实施例的示意 图。
分享到:
收藏