logo好方法网

一种数据融合方法和装置


技术摘要:
本发明涉及一种数据融合方法和装置,其方法包括以下步骤,S1,从区块链中获取待融合的多源数据;S2,对所述多源数据进行预处理,得到预处理多源数据;S3,对所述预处理多源数据进行分组,得到多组分组数据;S4,将多组所述分组数据进行融合,得到融合数据。本发明一种  全部
背景技术:
近年来,大数据计算给科学研究、商务、工业等各个领域带来了革命性的突破,大 数据的相关技术和服务也得到了长足的发展。随着互联网技术的飞快发展,各类数据之间 相互融合成为各大行业急需解决的难题。但是目前的数据种类繁多、数据量大,融合速度较 慢,且融合过程中存在不安全的因素。
技术实现要素:
本发明所要解决的技术问题是提供一种数据融合方法和装置,可以提高数据融合 的速度和安全性。 本发明解决上述技术问题的技术方案如下:一种数据融合方法,包括以下步骤, S1,从区块链中获取待融合的多源数据; S2,对所述多源数据进行预处理,得到预处理多源数据; S3,对所述预处理多源数据进行分组,得到多组分组数据; S4,将多组所述分组数据进行融合,得到融合数据。 在上述技术方案的基础上,本发明还可以做如下改进。 进一步,所述S1具体为, 根据数据融合任务从区块链中获取对应的数据加密模型和解密密钥; 根据所述数据加密模型从多种数据源中获取相对应的加密资源数据; 采用所述解密密钥对所述加密资源数据进行解密得到待融合的多源数据。 进一步,所述S2具体为, 对所述多源数据进行过滤,滤除异常数据,得到过滤多源数据; 对所述过滤多源数据进行格式转换,得到统一格式的格式转换多源数据; 其中,所述格式转换多源数据即为所述预处理多源数据。 进一步,所述S3具体为, 根据数据主键ID将所述预处理多源数据切分成同等大小的数据集合,得到多组分 组数据。 进一步,所述S4具体为, 分别对各组所述分组数据进行融合,得到多组分组融合数据; 根据所述数据主键ID将各组所述分组融合数据进行融合,得到融合数据。 基于上述一种数据融合方法,本发明还提供一种数据融合装置。 一种数据融合装置,包括以下模块, 多源数据获取模块,其用于从区块链中获取待融合的多源数据; 数据预处理模块,其用于对所述多源数据进行预处理,得到预处理多源数据; 4 CN 111581281 A 说 明 书 2/3 页 数据分组模块,其用于对所述预处理多源数据进行分组,得到多组分组数据; 数据融合模块,其用于将多组所述分组数据进行融合,得到融合数据。 在上述技术方案的基础上,本发明还可以做如下改进。 进一步,所述多源数据获取模块具体用于, 根据数据融合任务从区块链中获取对应的数据加密模型和解密密钥; 根据所述数据加密模型从多种数据源中获取相对应的加密资源数据; 采用所述解密密钥对所述加密资源数据进行解密得到待融合的多源数据。 进一步,所述数据预处理模块具体用于, 对所述多源数据进行过滤,滤除异常数据,得到过滤多源数据; 对所述过滤多源数据进行格式转换,得到统一格式的格式转换多源数据; 其中,所述格式转换多源数据即为所述预处理多源数据。 进一步,所述数据分组模块具体用于, 根据数据主键ID将所述预处理多源数据切分成同等大小的数据集合,得到多组分 组数据。 进一步,所述数据融合模块具体用于, 分别对各组所述分组数据进行融合,得到多组分组融合数据; 根据所述数据主键ID将各组所述分组融合数据进行融合,得到融合数据。 本发明的有益效果是:本发明一种数据融合方法和装置通过区块链构建安全的数 据获取环境,为数据融合提供有效的数据证明,防止数据泄露;另外,将数据进行分组,对分 组数据融合后再作最后的综合融合,可以提高数据融合的速度。 附图说明 图1为本发明一种数据融合方法的流程图; 图2为本发明一种数据融合装置的结构框图。
分享到:
收藏