技术摘要：
本发明提供一种大数据处理方法及系统，采集客户端基于应用程序产生的应用数据；接收应用数据，并将应用数据导入决策树结构中，进行层层决策分析；根据决策分析结果将应用数据分配到对应的服务节点中；同时，还向客户端反馈与决策分析结果相关的回执信息。用以通过决策  全部
背景技术：
大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的 主要部分。据IDC的调查报告显示：企业中80％的数据都是非结构化数据，这些数据每年都 按指数增长60％。大数据是互联网发展到现今阶段的一种表象或特征而已，没有必要神话 它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很 难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为 人类创造更多的价值。 其中，基于大数据对应用程序进行处理的过程中，一般是对应用数据进行单独处 理，其单独处理，一般是基于某个训练模型进行单独一次处理，其处理效率低，且处理效果 不显著。 因此，本发明提出了一种大数据处理方法及系统。
技术实现要素：
本发明提供一种大数据处理方法及系统，用以通过决策树结构，对应用数据进行 层层决策，提高其决策效率，进而提高决策效果的显著性。 本发明提供一种大数据处理方法，包括： 采集客户端基于应用程序产生的应用数据； 接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层决策分析； 根据决策分析结果将所述应用数据分配到对应的服务节点中； 同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。 在一种可能实现的方式中，采集客户端基于应用程序产生的应用数据的步骤包 括： 记录所述应用程序的后台运行数据以及用户基于所述应用程序的操作信息，所述 操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息； 对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行的主动日志集合 以及所述应用程序被动运行的被动日志集合； 当所述应用程序处于被动运行时，建立记录的所述点击信息的点击位置点与所述 点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所述滑动信息的滑动位置 条与所述滑动信息所驱动的被动运行结果的第二集合； 采集统计的主动日志集合、被动日志集合以及所述处理单元建立的第一集合和第 二集合，并进行传输； 其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。 在一种可能实现的方式中，将所述应用数据导入决策树结构进行层层决策分析之 5 CN 111597097 A 说　明　书 2/9 页 前，还包括： 计算所述应用数据中的每个集合与所述决策树结构的根节点之间的第一关联性 A1； 同时，计算每个集合与所述决策树结构的叶子节点之间的第二关联性A2； 同时，计算每个集合与所述决策树结构的中间节点之间的第三关联性A3； 对计算的第一关联性A1、第二关联性A2和第三关联性A3进行综合计算，并计算每个 集合基于根节点的决策结果S； S＝A1β1B1 A2β2B2 A3β3B3； 其中，β1表示每个集合基于根节点所占的权重比例；β2表示每个集合基于叶子节点 所占的权重比例；β3表示每个集合基于中间节点所占的权重比例；B1表示所述根节点与所述 叶子节点和中间节点的关联值；B2表示所述叶子节点与所述根节点和中间节点的关联值；B3 表示所述中间节点与所述根节点和叶子节点的关联值； 根据所述决策结果S，确定每个集合待导入所述决策树结构的树分支。 在一种可能实现的方式中，确定每个集合待导入所述决策树结构的树分支之后， 还包括： 根据所述决策结果，建立每个集合与所有待导入的树分支的映射表，并按照导入 规则，将每个集合分别基于所述映射表导入对应的树分支中，并基于每个树分支获取对应 的导出信息，所述导出信息中包括：导出结果和导出时间； 对比分析所述导出信息，并选择最优导出信息对应的树分支作为所述集合的决策 分支。 在一种可能实现的方式中，将所述应用数据导入决策树结构中，进行层层决策分 析的过程中，包括： 基于所述决策树结构的检索决策层，对所述应用数据中的集合中的集合数据增加 检索； 基于所述决策树结构的判断决策层，区分所述集合数据中的正常数据和异常数 据； 基于所述决策数结构的定位决策层，对所述异常数据进行检索定位，并定位到所 述异常数据数据的源文件； 查找所述源文件中的源元素，基于所述源元素确定所述异常数据中的无效数据， 并将所述无效数据进行删除； 同时，将所述异常数据中的剩余数据基于所述决策树结构中的修复决策层进行修 复，并将修复后的剩余数据和正常数据基于传输决策层进行输出到对应的服务中心节点。 在一种可能实现的方式中，基于所述修复决策层进行修复的过程中，还包括： 确定所述修复决策层对所述剩余数据的修复能耗值，且确定所述修复决策层在修 复线程的线程消耗值； 根据所述修复能耗值和线程消耗值，确定所述修复决策层的当前资源环境的磨损 程度； 当所述磨损程度大于预设程度时，进行报警警示，同时，对所述修复决策层进行优 化处理。 6 CN 111597097 A 说　明　书 3/9 页 在一种可能实现的方式中，对比分析所述导出信息，并选择最优导出信息对应的 树分支作为所述集合的决策分支的过程中，还包括： 确定所述集合中集合数据的数据种类； 计算所述分支节点在所述决策分支中的位置占比wi以及所述分支节点决策的集 合数据对应的空间占比ki的综合占比zi； 其中，p1i表示所述集合数据对第i个分支节点的热访问概率；p2i表示对第i个分支 节点的冷访问概率，其中，所述决策分支中包括n个分支节点； 基于所述综合占比zi，对所述决策分支进行第一调整处理，获得第一分支； 建立所述第一分支的当前分支节点与其他分支节点之间的通信连接； 提取基于所述应用程序的优化序列，对建立的通信连接进行优化，并确定所述当 前分支节点与其他分支节点的互通值Hj； 其中， 表示当前分支节点与其他第i个分支节点的信道在t时刻的冲击响 应；其中，a为常数值，且a的取值范围为[3,6]；bj表示第i个当前分支节点的通信衰落因子； g(t)表示优化序列在t时刻的优化函数； 表示第j个当前分支节点在t时刻的通信 广播频率；其中，b为常数值，且b的取值范围为[2,5]；且，其中，j＝1,2,3,...,n； 根据所述互通值Hj，对所述第一分支进行第二调整处理，获得第二分支； 根据所述数据种类确定每种数据的数据保密性C，并根据所述数据保密性C，确定 对所述集合的决策方案； 其中，Q1、Q2、Q3表示三种不同的决策方法；F表示确定的所述集合的决策方案； 同时，依据决策方案，赋予所述第二分支中每个分支节点相关的保密协议，并按照 所述保密协议，分别对对应的数据种类进行相关的保密处理，并将保密处理后的数据传输 到对应的服务节点中。 本发明提供一种大数据处理系统，包括： 客户端，用于采集基于应用程序产生的应用数据； 服务器，用于接收所述应用数据，并将所述应用数据导入决策树结构中，进行层层 决策分析，并根据决策分析结果将所述应用数据分配到对应的服务节点中； 同时，还向所述客户端反馈与所述决策分析结果相关的回执信息。 在一种可能实现的方式中，所述客户端包括： 记录单元，用于记录所述应用程序的后台运行数据以及用户基于所述应用程序的 7 CN 111597097 A 说　明　书 4/9 页 操作信息，所述操作信息包括：所述用户在所述应用程序的点击信息以及滑动信息； 处理单元，用于对所述后台运行数据进行逻辑分析，统计所述应用程序主动运行 的主动日志集合以及所述应用程序被动运行的被动日志集合； 所述处理单元，还用于当所述应用程序处于被动运行时，建立记录的所述点击信 息的点击位置点与所述点击信息所驱动的被动运行结果的第一集合，同时，建立记录的所 述滑动信息的滑动位置条与所述滑动信息所驱动的被动运行结果的第二集合； 采集单元，用于采集统计的主动日志集合、被动日志集合以及所述处理单元建立 的第一集合和第二集合，并进行传输； 其中，所述应用数据包括：主动日志集合、被动日志集合、第一集合以及第二集合。 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 附图说明 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中： 图1为本发明实施例中一种大数据处理方法的流程图； 图2为本发明实施例中一种大数据处理系统的结构图； 图3为本发明实施例中客户端的结构图。