技术摘要:
本发明涉及模型训练技术领域,且本发明公开了一种深度学习模型训练的管理系统,包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块,所述数据集整合模块包括统计模块、样本均衡模块和切分模块。该 全部
背景技术:
深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于 最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次,这些学习过 程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让 机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个 复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。深度学 习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个 性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类 的活动。 现有的深度学习模型的训练,大都是极为复杂的,只适用于开发人员使用,在其他 人员进行使用时需要花费较多的时间熟悉深度学习模型的代码,并搭建环境,不便于使用, 上手十分困难。
技术实现要素:
(一)解决的技术问题 针对现有技术的不足,本发明提供了一种深度学习模型训练的管理系统,解决了现有 的深度学习模型的训练,大都是极为复杂的,只适用于开发人员使用,在其他人员进行使用 时需要花费较多的时间熟悉深度学习模型的代码,并搭建环境,不便于使用,上手十分困难 的问题。 (二)技术方案 为实现上述目的,本发明提供如下技术方案:一种深度学习模型训练的管理系统,包括 数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构 建模块、训练模块和结果分析模块,所述数据集整合模块包括统计模块、样本均衡模块和切 分模块。 优选的,所述框架构建模块包括组件管理模块和参数调整模块。 优选的,所述组件管理器系统的设置是为了可以快速地对训练模型做一些单独的 修改,根据训练模型进行回归分析,生成替换组件。 优选的,所述参数调整模块主要分析各参数影响的曲线形状,通过相关的曲线形 状,了解PID参数整定的方法,仔细分清各个参数的作用和扰动情况下的相应曲线,可以快 速准确地判断一个自动调节系统中,设置合适的参数,确保模型的建立。 优选的,所述结果分析模块主要对分析出的结果呈图形化或曲线化的分析图像。 本发明要解决的另一技术问题是提供一种深度学习模型训练的管理系统的操作 方法,包括以下步骤: 3 CN 111582493 A 说 明 书 2/3 页 S1:首先由数据获取模块对数据进行获取和标注,并对数据标注前的标签体系设定要 合理,用于标注的数据集需要无偏、全面、尽可能均衡。 S2:数据获取后,由数据集整合模块对获取的数据进行处理,先通过统计模块将各 个标签的数据放于不同的文件夹中,并统计各个标签的数目。 S3:然后由样本均衡模块控制最大类或最小类数据的均衡,使最后一列为均衡的 目标值。 S4:再通过切分模块对数据进行再次处理,训练中要保证样本均衡,学习到弱势类 的特征,测试过程要反应真实的数据集分布。 S5:数据经过数据集整合模块处理完成后,由数据预处理模块对整合完蔡数据进 行预处理工作,使网络设计模块、算法优化模块可以更快的获取数据信息。 S6:网络设计模块和和算法优化模块获取数据后,网络设计模块利用基础网络的 选择和Loss的设计,算法优化模块利用Adam对数据进行优化处理。 S7:数据处理完成后,由框架构建模块对数据进行处理,框架构建模块是根据数据 获取模块获取的数据和网络层建立训练模型。 S8:训练模型搭建完成后,由训练模块进行工作,训练模块根据框架构建模块所搭 建的训练模型进行训练。 S9:训练完成后,由结果分析模块对训练的结果进行分析,并生成分析结果。 优选的,所述数据预处理模块包括数据的随机裁剪、随机变换框、添加光照饱和 度、修改压缩系数、各种缩放方案、多尺度中的一种或多种。 (三)有益效果 与现有技术相比,本发明提供了一种深度学习模型训练的管理系统,具备以下有益效 果: 该深度学习模型训练的管理系统,通过使用多个模块对获取的数据进行多层处理,将 原数据进行各类优化,确保降低模型建立的困难程度,使模型建立除却开发人员外的其他 人员都可简易操作,利用数据预处理模块和数据集整合模块,将获取的数据进行精确度较 高的处理,便于代码的转化,以及后续模型的建立,解决了现有的深度学习模型的训练,大 都是极为复杂的,只适用于开发人员使用,在其他人员进行使用时需要花费较多的时间熟 悉深度学习模型的代码,并搭建环境,不便于使用,上手十分困难的问题。
本发明涉及模型训练技术领域,且本发明公开了一种深度学习模型训练的管理系统,包括数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构建模块、训练模块和结果分析模块,所述数据集整合模块包括统计模块、样本均衡模块和切分模块。该 全部
背景技术:
深度学习是机器学习领域中一个新的研究方向,它被引入机器学习使其更接近于 最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次,这些学习过 程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让 机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个 复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。深度学 习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个 性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类 的活动。 现有的深度学习模型的训练,大都是极为复杂的,只适用于开发人员使用,在其他 人员进行使用时需要花费较多的时间熟悉深度学习模型的代码,并搭建环境,不便于使用, 上手十分困难。
技术实现要素:
(一)解决的技术问题 针对现有技术的不足,本发明提供了一种深度学习模型训练的管理系统,解决了现有 的深度学习模型的训练,大都是极为复杂的,只适用于开发人员使用,在其他人员进行使用 时需要花费较多的时间熟悉深度学习模型的代码,并搭建环境,不便于使用,上手十分困难 的问题。 (二)技术方案 为实现上述目的,本发明提供如下技术方案:一种深度学习模型训练的管理系统,包括 数据获取模块、数据集整合模块、数据预处理模块、网络设计模块、算法优化模块和框架构 建模块、训练模块和结果分析模块,所述数据集整合模块包括统计模块、样本均衡模块和切 分模块。 优选的,所述框架构建模块包括组件管理模块和参数调整模块。 优选的,所述组件管理器系统的设置是为了可以快速地对训练模型做一些单独的 修改,根据训练模型进行回归分析,生成替换组件。 优选的,所述参数调整模块主要分析各参数影响的曲线形状,通过相关的曲线形 状,了解PID参数整定的方法,仔细分清各个参数的作用和扰动情况下的相应曲线,可以快 速准确地判断一个自动调节系统中,设置合适的参数,确保模型的建立。 优选的,所述结果分析模块主要对分析出的结果呈图形化或曲线化的分析图像。 本发明要解决的另一技术问题是提供一种深度学习模型训练的管理系统的操作 方法,包括以下步骤: 3 CN 111582493 A 说 明 书 2/3 页 S1:首先由数据获取模块对数据进行获取和标注,并对数据标注前的标签体系设定要 合理,用于标注的数据集需要无偏、全面、尽可能均衡。 S2:数据获取后,由数据集整合模块对获取的数据进行处理,先通过统计模块将各 个标签的数据放于不同的文件夹中,并统计各个标签的数目。 S3:然后由样本均衡模块控制最大类或最小类数据的均衡,使最后一列为均衡的 目标值。 S4:再通过切分模块对数据进行再次处理,训练中要保证样本均衡,学习到弱势类 的特征,测试过程要反应真实的数据集分布。 S5:数据经过数据集整合模块处理完成后,由数据预处理模块对整合完蔡数据进 行预处理工作,使网络设计模块、算法优化模块可以更快的获取数据信息。 S6:网络设计模块和和算法优化模块获取数据后,网络设计模块利用基础网络的 选择和Loss的设计,算法优化模块利用Adam对数据进行优化处理。 S7:数据处理完成后,由框架构建模块对数据进行处理,框架构建模块是根据数据 获取模块获取的数据和网络层建立训练模型。 S8:训练模型搭建完成后,由训练模块进行工作,训练模块根据框架构建模块所搭 建的训练模型进行训练。 S9:训练完成后,由结果分析模块对训练的结果进行分析,并生成分析结果。 优选的,所述数据预处理模块包括数据的随机裁剪、随机变换框、添加光照饱和 度、修改压缩系数、各种缩放方案、多尺度中的一种或多种。 (三)有益效果 与现有技术相比,本发明提供了一种深度学习模型训练的管理系统,具备以下有益效 果: 该深度学习模型训练的管理系统,通过使用多个模块对获取的数据进行多层处理,将 原数据进行各类优化,确保降低模型建立的困难程度,使模型建立除却开发人员外的其他 人员都可简易操作,利用数据预处理模块和数据集整合模块,将获取的数据进行精确度较 高的处理,便于代码的转化,以及后续模型的建立,解决了现有的深度学习模型的训练,大 都是极为复杂的,只适用于开发人员使用,在其他人员进行使用时需要花费较多的时间熟 悉深度学习模型的代码,并搭建环境,不便于使用,上手十分困难的问题。