logo好方法网

零占用空间大型用户实体行为建模的系统和方法


技术摘要:
本文公开了用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统和方法。为此,控制电路系统可以确定多个网络端点中与多个接收到的记录中的每个相应记录对应的相应网络端点。然后,控制电路系统可以为每个相应网络端点指派专用队列,并  全部
背景技术:
传统上,使用中央服务器监视许多网络端点设备的网络行为要求存储大量的网络 流记录以进行分析。例如,现有系统要求在“大数据”后端中存储Netflow和互联网协议流信 息输出(“IPFIX”)记录、超文本传输协议(“HTTP”)代理日志等,以进行后续处理。这涉及大 量费用,因为存储这些记录要求使用大量的存储空间(总计为许多太字节)并且容纳该存储 空间的不动产(即,“大数据”设施)也同样昂贵。小工具以及变得与网络连接的其它设备(例 如,物联网设备)的激增加剧了这个问题,这使要监视的网络端点(endpoint)的数量成倍增 加,从而为了行为监视的目的而为所有网络设备存储网络流是不切实际的。
技术实现要素:
本文公开了用于监视网络端点的行为而无需“大数据”存储后端的系统和方法。具 体而言,本文公开的系统和方法将网络流的记录减少为向量,从而使系统能够仅使用少量 存储空间(例如,几千兆字节的存储空间)来保存数百万或更多网络端点的行为模型。 在本公开的一些方面,控制电路系统接收多个记录,该多个记录中的每个相应记 录与多个网络端点中的相应网络端点对应。每个相应记录可以识别源自与相应记录对应的 相应网络端点的相应单个网络流。控制电路系统可以确定多个网络端点中与多个记录中的 每个相应记录对应的相应网络端点。 控制电路系统可以为每个相应网络端点指派相应专用队列。例如,控制电路系统 可以为源自给定网络端点的所有记录指定单个先进先出(“FIFO”)队列。然后,控制电路系 统可以向每个相应专用队列发送多个记录中的每个记录,该多个记录中的每个记录与相应 专用队列被指派给的相应网络端点对应。 控制电路系统可以基于与每个相应网络端点对应的每个相应专用队列的每个记 录,为每个相应网络端点确定相应行为模型,并且可以将每个相应行为模型存储到存储器。 在一些实施例中,在确定相应行为模型时,控制电路系统可以识别被编程为确定行为模型 的多个模块,并且可以识别多个模块中空闲的模块。控制电路系统可以命令空闲模块确定 相应行为模型。该模块可以是用于基于给定队列的记录来确定行为模型的算法的软件实 例。 在一些实施例中,在确定相应行为模型时,控制电路系统将相应记录的集合的数 据编码成浮点值的多维向量。控制电路系统可以判定给定的多维向量是否表示给定的相应 网络端点的异常行为。响应于确定给定的多维向量表示给定的相应网络端点的异常行为, 控制电路系统可以警告网络管理员或执行预定义动作的集合。 在对相应专用队列内的每个相应记录的数据进行编码时,控制电路系统可以从每 个相应单个网络流的相应字段中提取相应数据、将相应数据级联成串、并且将串转换成向 量。每个相应数据点可以形成向量中的点。控制电路系统可以将该向量用作相应行为模型。 在将串转换成向量时,控制电路系统可以形成具有串的文档。然后,控制电路系统 可以将文档馈送到词/文档嵌入算法(例如,文档到向量(“doc2vec”)、FastText等)中,并且 5 CN 111615695 A 说 明 书 2/8 页 可以使用doc2vec算法使用浅神经网络来分析文档。然后,控制电路系统可以基于该分析来 输出向量。 在一些实施例中,多个记录具有第一数据尺寸,其中每个相应行为模型的数据尺 寸的总和具有第二数据尺寸,并且其中第二数据尺寸比第一数据尺寸小两个或更多个数量 级。例如,虽然多个记录可以总计为数百太字节的数据,但是表示记录的向量合在一起可以 总计为几千兆字节的数据。 在一些实施例中,控制电路系统可以从网络管理员接收查看给定网络端点的相应 行为模型的命令。响应于接收到命令,控制电路系统可以生成针对给定网络端点的相应行 为模型的图形表示以供显示。此外,控制电路系统可以确定具有示出与给定网络端点的行 为相似的行为的相应行为模型的不同网络端点,并且可以生成针对不同网络端点的相应行 为模型以供与针对给定网络端点的相应行为模型的图形表示同时显示。 在一些方面,包括了用于通过使用散列表和用行为模型对行为建模来减少跟踪多 个网络端点的行为中所使用的存储空间的系统和方法。控制电路系统可以接收多个记录, 多个记录中的每个相应记录与多个网络端点中的相应网络端点对应。控制电路系统可以确 定多个网络端点中与多个记录中的每个相应记录对应的相应网络端点,并且可以将每个相 应记录编码成相应词。 在一些实施例中,控制电路系统对于每个相应记录将相应块指派给相应散列表, 并且向针对每个相应块的相应链表记录添加与每个相应块对应的每个网络端点所对应的 相应词。控制电路系统基于针对每个相应块的每个相应链表,为每个相应网络端点确定相 应行为模型,并且将每个相应行为模型存储到存储器。 在对于每个相应记录将相应块指派给相应散列表时,控制电路系统可以监视多个 记录中与未知网络端点对应的记录。响应于从监视中检测到未知网络端点,控制电路系统 可以将与该未知网络端点对应的块添加到散列表。 在一些实施例中,控制电路系统可以响应于检测到已经为给定的相应网络端点累 积了阈值量的词,基于针对每个相应块的每个相应链表为每个相应网络端点确定相应行为 模型。在一些实施例中,在基于针对每个相应块的每个相应链表为每个相应网络端点确定 相应行为模型,控制电路系统可以通过词/文档嵌入算法(诸如FastText算法)馈送散列表。 附图说明 在结合附图考虑以下
分享到:
收藏