技术摘要：
本发明公开一种基于云计算实现电力大数据布局和信息共享方法，涉及大数据及信息管理领域，本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力。本发明采用大数据降维技术， 全部
背景技术：
随着信息技术及大数据技术的飞速发展，智能电网数据及电力设备运行等数据以 其超强的速度急速发展，面对浩瀚的大数据，用户在使用过程中，如何从实现数据布局、分 析和应用，最终实现数据的共享就显得尤为重要。在大数据环境下，协调各地区、各行业、各 系统之间的统一调配和互联互通，调整各方信息资源的规划布局，落实各组织之间的权责 在提高数据配置和应用方面均具有重要的作用。在进行数据共享时，将传统的TB级存储硬 盘与SAN(storage areanenvork)和NAS(network attached storage)拓容技术，进一步突 破信息资源的存储容量，利用光纤通信的6Tbit/的密集波分复用(Dense Wavelength DivisionMultiplexing，DWDM)系统和光时分复用(optical time-division multiplexing，OTDM)技术以满足超大容量、超长距离传输的传输需求，从而提高数据的共 享能力。但是这些技术需要大量的硬件成本，一旦硬件结构出现问题，则难以实现数据的应 用与共享。
技术实现要素：
针对现有技术的不足，本发明公开了一种基于云计算实现电力大数据布局和信息 共享方法，本发明将云计算技术融合计算机大数据处理，实现数据的布局与分享，大大提高 了电力信息处理和应用能力。 本发明采用以下技术方案： 一种基于云计算实现电力大数据布局和信息共享方法，包括： 底层设备层，其内设置有传感器，通过所述传感器感知各个各种电力设备的工作 状态，并传递感知到的各种电力设备数据信息；其中：所述传感器至少包括光电传感器、红 外传感器、速度传感器、加速传感器、GIS传感器、振动传感器、纹波传感器、温湿度传感器、 角度传感器、磁场传感器、转速传感器、RFID标签、GPS设备、射线辐射传感器、热敏传感器、 能耗传感器或M2M终端； 信息传递层，其内设置有有线通信模块或无线通信模块，用于接收并传递所述信 息感知层感知的电力设备数据信息；其中所述有线通信模块至少包括RS485通信模块或 RS232通信模块，所述无线通信模块至少包括TCP/IP网络系统、ZigBee无线网络、GPRS通信 模块或CDMA无线通信、3G网络通信、4G网络通信、WLAN通信、LTE通信、云端服务器或蓝牙通 信模块； 大数据处理层，其内设置有计算机管理系统和云端服务器，用于接收并处理所述 信息传递层传递的各种电力设备数据信息；其中：所述计算机管理系统连接有显示模块、多 通道数据接口、大数据分析模块、故障诊断设备、示波器和告警模块；所述显示模块为LCD显 5 CN 111598722 A 说 明 书 2/9 页 示屏，所述多通道数据接口支撑至少两个以上的通讯数据类型；并且所述多通道数据接口 至少支持RS485通讯、TCP/IP通讯、无线通讯或GPRS通讯；所述大数据分析模块连接有 Hadoop数据管理平台；其中所述云端服务器通过将规模级的底层服务器通过集约化、虚拟 化构建起云端资源池，然后从资源池中调配计算资源组建而成，其中所述CPU、内存、磁盘或 带宽以自由组合的方式存在；其中所述云端服务器还设置有大数据分布式存储结构和大数 据计算模型，所述大数据分布式存储结构实现数据布局分析，所述大数据计算模型实现大 数据计算； 所述大数据分布式存储结构实现数据布局分析的方法为： 设R为电力大数据存储数据结构的数据集合，用数据集合表示为R＝(Ei,Ej,d ,t)； 数据库中数据集合表示为：X＝{x1,x2,...,xn}；假设数据集X含有c个类别，所述云端服务器 的云网络的电力大数据的特征映射为f(k)，则有检索大数据的模型为： min F(x)＝(f1(x) ,f2(x) ,...,fm(x))T (1) 其中n为大数据的统计变量，m为影响检索决策的因变量；T表示检索时间； 数据应用层，其内设置有数据存储单元，用于存储、使用或传递所述大数据处理层 处理后的数据；其中： 所述底层设备层的输出端与所述信息传递层的输入端连接，所述信息传递层的输 出端与所述大数据处理层的输入端连接，所述大数据处理层的输出端与所述数据应用层的 输入端连接。 进一步地，所述大数据计算模型实现大数据计算的方法至少为聚类算法模型、关 联算法模型、决策树算法模型、BP神经网络算法模型、KNN算法模型、支持向量机算法模型、 VSM法模型或k-近邻素算法模型。 进一步地，所述关联算法模型为贝叶斯分类算法模型。 进一步地，所述贝叶斯分类算法模型的方法为：假设待划分属性的大数据集为d， 假设将电力事件数据属性的类别划分为集合C，其中C＝{c1,c2,...,cm}，其中第i分类属性 满足这样的条件:1≤i≤m，对于待分类的电力大事件数据集合d，其输出的最大类别为P (ci/d)，则有： 其中C、D表示为随机变量，则电力大数据d的贝叶斯分类公式为： 进一步地，所述大数据计算模型还包括大数据降维模型，应用所述大数据降维模 型进行大数据降维的方法为主成分分析方法， 进一步地，所述主成分分析方法的步骤为： (1)标准化数据；假设电力大数据样本数据纬度为p，随机向量为x＝(x1 ,x2,..., x )Tp ；则对于i个数据样本，存在：xi＝(xi1,xi2,...,x )Tip ，其中i＝1,2,...,n；当n＞p时，对 6 CN 111598722 A 说 明 书 3/9 页 样本阵元进行标准化变换，其中标准化变换公式为： 其中i＝1,2,...,n；j＝1,2,...,p；在公式(3)中，还存在： (2)求出所述步骤(1)的标准化矩阵Z的相关系数矩阵； R＝[rij]p； (6) 其中： 其中i,j＝1,2,...,p； (3)确定主成分，通过求解相关矩阵R的特征方程得出，所述方程为： |R-λIp|＝0 (9) 在确定n的值时，通过以下公式： 在公式(10)中的每个λj，j＝1,2,...,n，解方程组得出： Rb＝λjb (11) 通过公式(11)得出特征向量 (4)然后再将标准化后的指标变量转换为主成分，则有 7 CN 111598722 A 说 明 书 4/9 页 其中j＝1,2,...,n；并且U1称为第一主成分，U2称为第二主成分，Uj称为第j主成 分； (5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评 价值，权数为每个主成分的方差贡献率。 进一步地，所述云端服务器至少包括分布式存储模块、数据传输接口、CPU、内存、 磁盘、带宽和云网络接口。 进一步地，所述云网络接口为兼容性接口，并且至少兼容无线通信接口。 进一步地，所述云端服务器主机的硬件配置为Intel Xeon E3-1220v53 .0GHz四 核,内存为8GDDR4,硬盘为1*Intel企业级SSD,1*SATA 1T,网卡为2*千兆网口；工作机节点 的硬件配置为CPU型号Intel Xeon E53.0GHZ,内存为160GB，硬盘容量为128TB； 进一步地，所述大数据计算模型实现大数据计算的方法还包括Adaboost迭代算 法。 积极有益效果： 1、本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能 力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力； 2、本发明采用大数据降维技术，实现了大数据的高纬度转换，使得用户更加容易 地识别电力设备大数据，提高了数据的识别能力。 3、本发明云计算的方式对大数据进行处理，能够在几秒钟的时间内实现上百亿次 的数据处理，提高了数据的计算能力，有助于用户用不计其数的数据库中快速检索出目标 数据，实现大数据的快速处理。 4、本发明采用云网络架构，实现数据的实时、在线和远程应用，用户能够在不同的 地方实现大数据的共享与应用，数据共享能力强。该技术融合了网络技术、信息技术、整合 技术、管理平台技术、应用技术等，可组成资源池，按需所用，灵活便利。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。 图1为本发明一种基于云计算实现电力大数据布局和信息共享方法的架构示意 图； 图2为发明一种基于云计算实现电力大数据布局和信息共享方法的大数据处理模 型结构图； 图3为发明一种基于云计算实现电力大数据布局和信息共享方法中主成分分析方 法流程示意图； 图4为发明一种基于云计算实现电力大数据布局和信息共享方法中Adaboost迭代 算法中的流程示意图； 图5为发明一种基于云计算实现电力大数据布局和信息共享方法中云基础架构示 意图； 8 CN 111598722 A 说 明 书 5/9 页 图6为发明一种基于云计算实现电力大数据布局和信息共享方法中云端平台架构 示意图。
本发明公开一种基于云计算实现电力大数据布局和信息共享方法，涉及大数据及信息管理领域，本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力。本发明采用大数据降维技术， 全部
背景技术：
随着信息技术及大数据技术的飞速发展，智能电网数据及电力设备运行等数据以 其超强的速度急速发展，面对浩瀚的大数据，用户在使用过程中，如何从实现数据布局、分 析和应用，最终实现数据的共享就显得尤为重要。在大数据环境下，协调各地区、各行业、各 系统之间的统一调配和互联互通，调整各方信息资源的规划布局，落实各组织之间的权责 在提高数据配置和应用方面均具有重要的作用。在进行数据共享时，将传统的TB级存储硬 盘与SAN(storage areanenvork)和NAS(network attached storage)拓容技术，进一步突 破信息资源的存储容量，利用光纤通信的6Tbit/的密集波分复用(Dense Wavelength DivisionMultiplexing，DWDM)系统和光时分复用(optical time-division multiplexing，OTDM)技术以满足超大容量、超长距离传输的传输需求，从而提高数据的共 享能力。但是这些技术需要大量的硬件成本，一旦硬件结构出现问题，则难以实现数据的应 用与共享。
技术实现要素：
针对现有技术的不足，本发明公开了一种基于云计算实现电力大数据布局和信息 共享方法，本发明将云计算技术融合计算机大数据处理，实现数据的布局与分享，大大提高 了电力信息处理和应用能力。 本发明采用以下技术方案： 一种基于云计算实现电力大数据布局和信息共享方法，包括： 底层设备层，其内设置有传感器，通过所述传感器感知各个各种电力设备的工作 状态，并传递感知到的各种电力设备数据信息；其中：所述传感器至少包括光电传感器、红 外传感器、速度传感器、加速传感器、GIS传感器、振动传感器、纹波传感器、温湿度传感器、 角度传感器、磁场传感器、转速传感器、RFID标签、GPS设备、射线辐射传感器、热敏传感器、 能耗传感器或M2M终端； 信息传递层，其内设置有有线通信模块或无线通信模块，用于接收并传递所述信 息感知层感知的电力设备数据信息；其中所述有线通信模块至少包括RS485通信模块或 RS232通信模块，所述无线通信模块至少包括TCP/IP网络系统、ZigBee无线网络、GPRS通信 模块或CDMA无线通信、3G网络通信、4G网络通信、WLAN通信、LTE通信、云端服务器或蓝牙通 信模块； 大数据处理层，其内设置有计算机管理系统和云端服务器，用于接收并处理所述 信息传递层传递的各种电力设备数据信息；其中：所述计算机管理系统连接有显示模块、多 通道数据接口、大数据分析模块、故障诊断设备、示波器和告警模块；所述显示模块为LCD显 5 CN 111598722 A 说 明 书 2/9 页 示屏，所述多通道数据接口支撑至少两个以上的通讯数据类型；并且所述多通道数据接口 至少支持RS485通讯、TCP/IP通讯、无线通讯或GPRS通讯；所述大数据分析模块连接有 Hadoop数据管理平台；其中所述云端服务器通过将规模级的底层服务器通过集约化、虚拟 化构建起云端资源池，然后从资源池中调配计算资源组建而成，其中所述CPU、内存、磁盘或 带宽以自由组合的方式存在；其中所述云端服务器还设置有大数据分布式存储结构和大数 据计算模型，所述大数据分布式存储结构实现数据布局分析，所述大数据计算模型实现大 数据计算； 所述大数据分布式存储结构实现数据布局分析的方法为： 设R为电力大数据存储数据结构的数据集合，用数据集合表示为R＝(Ei,Ej,d ,t)； 数据库中数据集合表示为：X＝{x1,x2,...,xn}；假设数据集X含有c个类别，所述云端服务器 的云网络的电力大数据的特征映射为f(k)，则有检索大数据的模型为： min F(x)＝(f1(x) ,f2(x) ,...,fm(x))T (1) 其中n为大数据的统计变量，m为影响检索决策的因变量；T表示检索时间； 数据应用层，其内设置有数据存储单元，用于存储、使用或传递所述大数据处理层 处理后的数据；其中： 所述底层设备层的输出端与所述信息传递层的输入端连接，所述信息传递层的输 出端与所述大数据处理层的输入端连接，所述大数据处理层的输出端与所述数据应用层的 输入端连接。 进一步地，所述大数据计算模型实现大数据计算的方法至少为聚类算法模型、关 联算法模型、决策树算法模型、BP神经网络算法模型、KNN算法模型、支持向量机算法模型、 VSM法模型或k-近邻素算法模型。 进一步地，所述关联算法模型为贝叶斯分类算法模型。 进一步地，所述贝叶斯分类算法模型的方法为：假设待划分属性的大数据集为d， 假设将电力事件数据属性的类别划分为集合C，其中C＝{c1,c2,...,cm}，其中第i分类属性 满足这样的条件:1≤i≤m，对于待分类的电力大事件数据集合d，其输出的最大类别为P (ci/d)，则有： 其中C、D表示为随机变量，则电力大数据d的贝叶斯分类公式为： 进一步地，所述大数据计算模型还包括大数据降维模型，应用所述大数据降维模 型进行大数据降维的方法为主成分分析方法， 进一步地，所述主成分分析方法的步骤为： (1)标准化数据；假设电力大数据样本数据纬度为p，随机向量为x＝(x1 ,x2,..., x )Tp ；则对于i个数据样本，存在：xi＝(xi1,xi2,...,x )Tip ，其中i＝1,2,...,n；当n＞p时，对 6 CN 111598722 A 说 明 书 3/9 页 样本阵元进行标准化变换，其中标准化变换公式为： 其中i＝1,2,...,n；j＝1,2,...,p；在公式(3)中，还存在： (2)求出所述步骤(1)的标准化矩阵Z的相关系数矩阵； R＝[rij]p； (6) 其中： 其中i,j＝1,2,...,p； (3)确定主成分，通过求解相关矩阵R的特征方程得出，所述方程为： |R-λIp|＝0 (9) 在确定n的值时，通过以下公式： 在公式(10)中的每个λj，j＝1,2,...,n，解方程组得出： Rb＝λjb (11) 通过公式(11)得出特征向量 (4)然后再将标准化后的指标变量转换为主成分，则有 7 CN 111598722 A 说 明 书 4/9 页 其中j＝1,2,...,n；并且U1称为第一主成分，U2称为第二主成分，Uj称为第j主成 分； (5)然后对n个主成分进行综合评价，并且对n个主成分进行加权求和，即得最终评 价值，权数为每个主成分的方差贡献率。 进一步地，所述云端服务器至少包括分布式存储模块、数据传输接口、CPU、内存、 磁盘、带宽和云网络接口。 进一步地，所述云网络接口为兼容性接口，并且至少兼容无线通信接口。 进一步地，所述云端服务器主机的硬件配置为Intel Xeon E3-1220v53 .0GHz四 核,内存为8GDDR4,硬盘为1*Intel企业级SSD,1*SATA 1T,网卡为2*千兆网口；工作机节点 的硬件配置为CPU型号Intel Xeon E53.0GHZ,内存为160GB，硬盘容量为128TB； 进一步地，所述大数据计算模型实现大数据计算的方法还包括Adaboost迭代算 法。 积极有益效果： 1、本发明通过采用分类算法模型进行数据分类，提高了电力设备大处理的分类能 力，减少了电力设备管理用户查询数据的难度，提高了大数据管理和应用能力； 2、本发明采用大数据降维技术，实现了大数据的高纬度转换，使得用户更加容易 地识别电力设备大数据，提高了数据的识别能力。 3、本发明云计算的方式对大数据进行处理，能够在几秒钟的时间内实现上百亿次 的数据处理，提高了数据的计算能力，有助于用户用不计其数的数据库中快速检索出目标 数据，实现大数据的快速处理。 4、本发明采用云网络架构，实现数据的实时、在线和远程应用，用户能够在不同的 地方实现大数据的共享与应用，数据共享能力强。该技术融合了网络技术、信息技术、整合 技术、管理平台技术、应用技术等，可组成资源池，按需所用，灵活便利。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。 图1为本发明一种基于云计算实现电力大数据布局和信息共享方法的架构示意 图； 图2为发明一种基于云计算实现电力大数据布局和信息共享方法的大数据处理模 型结构图； 图3为发明一种基于云计算实现电力大数据布局和信息共享方法中主成分分析方 法流程示意图； 图4为发明一种基于云计算实现电力大数据布局和信息共享方法中Adaboost迭代 算法中的流程示意图； 图5为发明一种基于云计算实现电力大数据布局和信息共享方法中云基础架构示 意图； 8 CN 111598722 A 说 明 书 5/9 页 图6为发明一种基于云计算实现电力大数据布局和信息共享方法中云端平台架构 示意图。
