技术摘要：
本发明属于云数据中心网络流量传输调度技术领域，公开了一种长、短流量均衡传输方法、系统、存储介质、云服务器，构建数据中心长、短流量均衡传输方法的深度强化学习架构；短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善交互性短流量传输延迟；利用决  全部
背景技术：
目前，云数据中心网络传输调度优化一直是云环境数据中心的主要研究方向，是 学术界和产业界的研究热点。在现如今云计算服务越来越趋向于分布式云存储、大数据分 析、在线教育等密集式应用，数据中心内部服务器间的传输流量急剧上升，且云计算中心服 务的复杂化、差异化，致使用户体验急需改善。因此近年来，针对网络传输性能的研究，主要 以降低流量完成时间为目标，数据中心网络传输优化在改善用户体验方面具有重要的影 响。又根据数据统计分析，数据中心网络中交互实时性应用短流量占所有数据流数量的 80％，而短流量占数据中心带宽大小的5％左右，带宽高需求的长流量占95％。而且在基于 网络传输TCP协议的传输中，虽然带宽尽力而为分配且不按照流量差异区分传输方式，这有 利于长流量优先传输，占用带宽；却也致使短流量传输实时性极大的降低，无法做到长、短 流量均衡传输。正因此，为改善交互实时性应用的用户体验，大部分研究方向都是尽可能使 具有实时性需求的短流量优先传输，降低传输的延迟，改善用户体验。例如：文章“Pias: Practical  information-agnostic  flow  scheduling  for  commodity  data  centers”中 提出了基于多级反馈队列的流量调度方法PIAS。PIAS利用交换机中的多个优先级队列实施 多级反馈队列(Multilevel  Feedback  Queue  Scheduling，MLFQ)。数据包在不同队列中严 格按照优先级传输，而在相同队列中则按照FIFO方式传输。在每个流量的生命周期中，当传 输流量大小大于所在第i级队列的阈值时，由第i级队列继续下降到第i 1级队列，直至进入 最后级队列中。以上的技术，使用传统TCP协议有利于长流量传输，无法保证短流量实时传 输；PIAS则着重于提升短流量实时性传输，加之数据中心网络流量特征符合长尾分布，因此 在基于多级反馈队列的网络流量调度方法中，交互实时性短流量一直处于较高优先级队列 中优先传输，而高带宽需求的长流量处于低优先级队列滞后传输，存在长流量不能在截止 时间前完成传输问题，造成长流量传输需求不能够得到满足的现象，致使长流量一直处于 饥饿状态，无法做到长、短流量的均衡传输。 通过上述分析，现有技术存在的问题及缺陷为：现有的长流量不能在截止时间前 完成传输问题，造成长流量传输需求不能够得到满足的现象，致使长流量一直处于饥饿状 态，无法做到长、短流量的均衡传输。 解决以上问题及缺陷的难度为：如何在保证数据中心交互性短流量实时性传输的 基础上，优化高带宽占用的长流量传输性能有待解决。 解决以上问题及缺陷的意义为：数据中心长、短流量均衡传输方法在保证短流量 传输低延迟的情况下，改善长流量传输性能，既能够满足如网页检索、远程连接等交互实时 型应用的时延敏感需求，也能够满足如存储、备份、数据挖掘等高带宽占用型应用的尽力传 输需求，有效改善用户体验。 4 CN 111585915 A 说　明　书 2/6 页
技术实现要素：
针对现有技术存在的问题，本发明提供了一种长、短流量均衡传输方法、系统、存 储介质、云服务器。 本发明是这样实现的，一种长、短流量均衡传输方法，所述长、短流量均衡传输方 法包括： 第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构； 第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实 时性短流量传输延迟； 第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输 策略； 第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变 化，实现长、短流量均衡传输。 进一步，所述深度强化学习架构包括： 状态：建立状态空间S，每个状态si为第i步中控制器选择执行多级队列阈值优化 方法的概率，决策状态表示为： S＝(s1,s2,…,sn)； 其中0＜si＜1；在一轮的学习迭代过程中，存在n个时隙，在每个时隙t开始时定义 随机变量m，当m≤si时，执行多级队列阈值优化方法，改善短流量传输延迟；当m＞si时，执行 长流量优化策略，改善长流量传输性能。 动作空间：网络传输策略决策模型的动作空间为策略选择概率p的变化量Δp，模 型动作空间为： A＝(Δp1,Δp2,…,Δpn)； 动作数量n∈[1,100]； 奖励：衡量决策动作的好坏，网络传输决策模型的奖励为一轮学习过程结束后，每 个时隙中所得的流量完成时间的平均值Γt与上一轮学习得到的时间平均值Γt-1的比值， 衡量决策动作的好坏利用短流量与长流量在传输过程所占流量的权重计算奖励值r，设置 优化长、短流量的权重分别为ω和υ，奖励r的计算公式为： 进一步，所述基于强化学习的多级队列阈值优化方法改善实时性短流量传输延迟 包括：监测数据中心流量，获取流量分布，并依此流量大小分布计算出多级队列降级阈值， 初始化阈值，再通过强化学习方式细粒度的调整阈值的大小，划分数据包传输优先级。 进一步，所述依据决策概率执行传输策略包括：根据流量类型进行传输策略选择， 选择过程利用概率体现，并按照概率执行已选择的传输策略，在策略选择与执行模块，首先 利用决策概率生成器随机生成初始概率，利用深度强化学习中的DQN方法更新概率；根据概 率，选择不同传输策略，包括是否执行基于强化学习的多级队列阈值优化方法。 进一步，所述决策概率动态更新包括以下步骤： 步骤一：初始化训练样本经验池D，同时初始化深度强化学习中主Q网络与目标Q网 络； 5 CN 111585915 A 说　明　书 3/6 页 步骤二：根据当前数据中心网络传输策略状态，初始化策略决策概率s； 步骤三：利用动作选择策略ε-greedy选择动作Δp，作为决策概率变化量，智能体 执行动作Δp，调整概率状态为s′； 步骤四：根据系统需求，将本轮迭代时间分为n个时隙，在第i个时隙开始时，从区 间[0,1]中随机取数值m；当数值m≤s′时，系统执行基于强化学习的多级队列阈值优化策 略；当数值m＞s′时，系统卸载阈值优化策略，还原数据中心网络初始传输状态，同时存储每 个时隙流量完成时间； 步骤五：累计全部时隙的流量完成时间，计算迭代过程流量平均完成时间与奖励 r，将此次训练样本(s,Δp,r,s′)存储在经验池D中； 步骤六：根据当前概率状态s′与奖励r，计算目标Q值函数Yj，利用梯度下降方法更 新值函数参数。 本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程 序使电子设备执行权利要求任意一项所述包括下列步骤： 第一步，构建数据中心长、短流量均衡传输方法的深度强化学习架构； 第二步，短流量实时性优化，依据基于强化学习的多级队列阈值优化方法改善实 时性短流量传输延迟； 第三步，利用概率选择传输策略，并初始化概率，根据决策概率执行已选择的传输 策略； 第四步，决策概率动态调整，用于迭代更新传输策略以适应数据中心流量类型变 化，实现长、短流量均衡传输。 本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包 括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的长、短流量均 衡传输方法。 本发明的另一目的在于提供一种实施所述的长、短流量均衡传输方法的长、短流 量均衡传输系统，所述本长、短流量均衡传输系统包括： 架构构建模块，用于构建长、短流量均衡传输方法架构； 流量大小分布获取模块，用于获取流量大小分布，依据基于强化学习的多级队列 阈值优化方法改善实时性短流量传输延迟； 传输策略选择模块，用于利用概率选择传输策略，并初始化概率，根据决策概率执 行已选择的传输策略； 决策概率动态调整模块，用于迭代更新传输策略以适应数据中心流量类型变化， 实现长、短流量均衡传输。 本发明的另一目的在于提供一种云服务器，所述云服务器安装有所述的长、短流 量均衡传输系统。 本发明的另一目的在于提供一种终端，所述终端安装有所述的长、短流量均衡传 输系统，所述终端为分布式云存储终端、大数据分析终端或在线教育终端。 结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明为了解决 长、短流量传输不均衡，长流量饥饿问题，针对数据中心流量传输符合长尾分布特点，在使 用基于强化学习的多级队列阈值优化方法来保证短流量实时传输的基础上，提出并设计了 6 CN 111585915 A 说　明　书 4/6 页 基于深度强化学习的网络传输策略决策方法与网络传输决策模型，基于DQN的策略决策模 型与决策概率动态调整算法，优化多级队列阈值调整方法，在保证交互性短流量实时性传 输的基础上，满足长流量高带宽占用需求，有效改善整体网络传输性能。能够针对云环境下 数据中心中基于多级反馈队列网络长流量传输局限性特点与长流量传输实时性的需求，有 效做到了长、短流量均衡传输。本发明基于深度Q网络(Deep  Q-Network，DQN)策略决策模型 与决策概率动态调整算法，优化多级队列阈值调整方法，在保证交互性短流量实时性传输 的基础上，满足长流量高带宽占用需求，有效改善整体网络传输性能。 附图说明 为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使 用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的 附图。 图1是本发明实施例提供的长、短流量均衡传输方法流程图。 图2是本发明实施例提供的长、短流量均衡传输系统的结构示意图； 图中：1、架构构建模块；2、短流量实时性优化模块；3、传输策略选择模块；4、决策 概率动态调整模块。 图3是本发明实施例提供的长、短流量均衡传输系统的架构图。 图4是本发明实施例提供的决策概率动态调整算法流程图。 图5是本发明实施例提供的实验结果折线图。