logo好方法网

消费延迟确定方法、系统、装置、设备及可读存储介质


技术摘要:
本发明实施例提供了一种基于分布式消息系统的消费延迟确定方法、系统、装置、设备及可读存储介质,其中,方法可以包括:获取消息通道的分区中消费组能够消费的消息位置,以及分区中消费组实际消费的消息位置;确定第一消息对应的第一时间信息和第二消息对应的第二时间  全部
背景技术:
分布式消息系统应用广泛,可以实现针对消息的生产、消费过程,且针对消息的消 费进度可以直观反映消费组的消费情况。实际应用过程中,由于消费组本身的性能等因素, 会造成消费组对能够消费的消息有积压,也可以理解为消费组的消费有延迟。现有技术中 通过消费组实际消费的消息落后于消费组能够消费的消息的数量,也可以理解为积压的消 息数量来表示消费的积压情况。 但是,由于不同分区的消息写入速率不同等因素,通过积压的消息数量来表示消 费的积压情况这种方式,确定的消费的延迟情况的准确性较低。例如对于消息写入速率QPS 万级别的分区,5秒积压的消息数量为500万条,若消费组的消费能力很强,则针对该分区积 压的消息可以很快被消费组消费;而消费的速度受消息QPS的影响,即使消费组的消费能力 强,但是,对于QPS个数级别的分区,积压的消息数量有可能在一天内才能达到500万条,如 此,会导致消费组可能需要消费组花费很长时间才能消费完成。可以看出,同是积压的消息 数量达到500万条,但是所反映的积压的严重程度完全不同,即通过积压的消息数量无法准 确反映消费的延迟情况,也即确定的消费的延迟情况的准确性较低。
技术实现要素:
本发明实施例的目的在于提供一种基于分布式消息系统的消费延迟确定方法、系 统、装置、设备及可读存储介质,以提高针对消费的延迟情况的准确性。具体技术方案如下: 在本发明实施的第一方面,首先提供了一种基于分布式消息系统的消费延迟确定 方法,包括: 获取消息通道的分区中消费组能够消费的消息位置,以及所述分区中消费组实际 消费的消息位置,其中,所述消费组能够消费的消息位置是所述分区暴露给所述消费组的 最新消息位置,所述消费组实际消费的消息位置同步或者落后于所述消费组能够消费的消 息位置; 确定第一消息对应的第一时间信息和第二消息对应的第二时间信息,其中,所述 第一消息是所述消费组能够消费的消息位置对应的消息,所述第二消息是所述消费组实际 消费的消息位置对应的消息,所述第一时间信息和所述第二时间信息表示同一类型的时 间; 计算所述第一时间信息与所述第二时间信息的差值,并将所述差值作为针对所述 分区的消费延迟信息。 可选的,在所述计算所述第一时间信息与所述第二时间信息的差值,并将所述差 值作为针对所述分区的消费延迟信息之后,所述方法还包括: 4 CN 111600774 A 说 明 书 2/13 页 将所述消息通道中各个分区的所述消费延迟信息进行聚合运算,并将聚合运算得 到的结果作为针对所述消息通道的消费延迟信息。 可选的,所述将所述消息通道中各个分区的所述消费延迟信息进行聚合运算,并 将聚合运算得到的结果作为针对所述消息通道的消费延迟信息,包括: 计算所述消息通道中各个分区的所述消费延迟信息的最大值,并将所述最大值作 为聚合运算得到的结果、计算所述消息通道中各个分区的所述消费延迟信息的平均值,并 将所述平均值作为聚合运算得到的结果、和/或计算所述消息通道中各个分区的所述消费 延迟信息的分位数,并将所述分位数作为聚合运算得到的结果。 可选的,在所述计算所述第一时间信息与所述第二时间信息的差值,并将所述差 值作为针对所述分区的消费延迟信息之后,所述方法还包括: 针对所述消息通道中的各个分区,将所述分区的消费延迟信息发送至具有聚合功 能的数据聚合系统; 通过所述具有聚合功能的数据聚合系统对所述消息通道中各个分区的所述消费 延迟信息进行聚合运算,并将聚合运算得到的结果作为针对所述消息通道的延迟信息。 可选的,在所述将所述消息通道中各个分区的所述消费延迟信息进行聚合运算, 并将聚合运算得到的结果作为针对所述消息通道的消费延迟信息之后,所述方法包括: 获取业务系统对应的延迟阈值; 将所述针对所述消息通道的消费延迟信息与所述延迟阈值进行比较,并根据比较 的结果针对所述业务系统触发报警。 在本发明实施的第二方面,还提供了一种基于分布式消息系统的消费延迟确定系 统,包括:计算节点和具有聚合功能的数据聚合系统;其中,所述计算节点包括多个计算子 节点,消息通道的各个分区分别对应不同的计算子节点; 针对消息通道中的各个分区,所述分区对应的计算子节点,获取所述分区中消费 组能够消费的消息位置,以及所述分区中消费组实际消费的消息位置,其中,所述消费组能 够消费的消息位置是所述分区暴露给所述消费组的最新消息位置,所述消费组实际消费的 消息位置同步或者落后于所述消费组能够消费的消息位置;确定第一消息对应的第一时间 信息和第二消息对应的第二时间信息,其中,所述第一消息是所述消费组能够消费的消息 位置对应的消息,所述第二消息是所述消费组实际消费的消息位置对应的消息,所述第一 时间信息和所述第二时间信息表示同一类型的时间;计算所述第一时间信息与所述第二时 间信息的差值,并将所述差值作为针对所述分区的消费延迟信息;将所述分区的消费延迟 信息发送至所述具有聚合功能的数据聚合系统; 所述具有聚合功能的数据聚合系统,接收各个分区分别对应的计算节点发送的所 述分区的消费延迟信息;将所述消息通道中各个分区的所述消费延迟信息进行聚合运算, 并将聚合运算得到的结果作为针对所述消息通道的消费延迟信息。 可选的,所述系统还包括:监控报警模块; 所述具有聚合功能的数据聚合系统,还用于将所述消息通道的消费延迟信息投递 至所述监控报警系统; 所述监控报警系统,用于获取业务系统对应的延迟阈值;将所述针对所述消息通 道的消费延迟信息与所述延迟阈值进行比较,并根据比较的结果针对所述业务系统触发报 5 CN 111600774 A 说 明 书 3/13 页 警。 在本发明实施的第三方面,还提供了一种基于分布式消息系统的消费延迟确定装 置,包括: 第一获取模块,用于获取消息通道的分区中消费组能够消费的消息位置,以及所 述分区中消费组实际消费的消息位置,其中,所述消费组能够消费的消息位置是所述分区 暴露给所述消费组的最新消息位置,所述消费组实际消费的消息位置同步或者落后于所述 消费组能够消费的消息位置; 确定模块,用于确定第一消息对应的第一时间信息和第二消息对应的第二时间信 息,其中,所述第一消息是所述消费组能够消费的消息位置对应的消息,所述第二消息是所 述消费组实际消费的消息位置对应的消息,所述第一时间信息和所述第二时间信息表示同 一类型的时间; 计算模块,用于计算所述第一时间信息与所述第二时间信息的差值,并将所述差 值作为针对所述分区的消费延迟信息。 在本发明实施的第四方面,还提供了一种电子设备,包括处理器、通信接口、存储 器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信; 存储器,用于存放计算机程序; 处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的方法步骤。 在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读 存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面所述的方 法步骤。 在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计 算机上运行时,使得计算机执行上述第一方面所述的方法步骤。 本发明实施例提供的基于分布式消息系统的消费延迟确定方法、系统、装置、设备 及可读存储介质,获取消息通道的分区中消费组能够消费的消息位置,以及分区中消费组 实际消费的消息位置,其中,消费组能够消费的消息位置是分区暴露给消费组的最新消息 位置,消费组实际消费的消息位置同步或者落后于消费组能够消费的消息位置;确定第一 消息对应的第一时间信息和第二消息对应的第二时间信息,其中,第一消息是消费组能够 消费的消息位置对应的消息,第二消息是消费组实际消费的消息位置对应的消息,第一时 间信息和第二时间信息表示同一类型的时间;计算第一时间信息与第二时间信息的差值, 并将差值作为针对分区的消费延迟信息。本发明实施例中,通过确定消费组能够消费的消 息位置对应的消息的时间信息,以及消费组实际消费的消息位置对应的消息的时间信息, 并通过时间信息的差值表示针对分区的消费延迟信息,时间信息的差值表示的消费延迟信 息可以理解为消费延迟的时长,也即延时,如此,可以通过消费的延时反映针对消费的延迟 情况,能够提高针对消费的延迟情况的准确性。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍。 图1为本发明实施例提供的基于分布式消息系统的消费延迟确定方法的一种流程 6 CN 111600774 A 说 明 书 4/13 页 图; 图2为本发明实施例中分区消息位置的示意图; 图3为本发明实施例提供的基于分布式消息系统的消费延迟确定方法的另一种流 程图; 图4为本发明实施例提供的基于分布式消息系统的消费延迟确定方法的另一种流 程图; 图5为本发明实施例提供的基于分布式消息系统的消费延迟确定系统的一种结构 示意图; 图6为本发明实施例提供的基于分布式消息系统的消费延迟确定系统的另一种结 构示意图; 图7为本发明实施例提供的基于分布式消息系统的消费延迟确定方法的另一种流 程图; 图8A为通过分区的消费的积压数量来表示消费的延迟情况的效果示意图; 图8B为本发明实施例中消息延时的效果示意图; 图9A为本发明实施例提供的基于分布式消息系统的消费延迟确定装置的一种结 构示意图; 图9B为本发明实施例提供的基于分布式消息系统的消费延迟确定装置的另一种 结构示意图; 图9C为本发明实施例提供的基于分布式消息系统的消费延迟确定装置的另一种 结构示意图; 图10为本发明实施例提供的电子设备的结构示意图。
分享到:
收藏