
技术摘要:
本申请公开了一种学生网络模型的生成方法、装置、设备及存储介质,涉及自然语言处理领域。具体实现方案为:获取目标领域的教师网络模型;通过所述教师网络模型对第一训练样本进行预测以生成第一预测结果;以及将所述第一训练样本和所述第一预测结果输入自动机器学习模 全部
背景技术:
自然语言处理是属于人工智能技术领域中的一个重要的方向,其应用领域涉及广 泛,包括终端设备的智能助手、翻译工具和无人汽车等。其通过利用自然语言处理模型根据 用户的输入语音或文字预测用户的意图,以执行相应的操作,然而,若自然语音处理模型的 规模过于庞大、计算复杂度高,不仅会在进行预测时消耗大量计算资源,还会直接影响自然 语言处理模型的预测速度,进而影响终端设备的智能助手的反应速度、翻译工具的翻译速 度、无人汽车在行驶中的反应速度等。 相关技术中,通常采用知识蒸馏的方式,根据规模庞大、计算复杂度高的教师网络 模型,生成远低于教师网络模型的规模、计算复杂度的学生网络模型。然而,相关技术中的 学生网络模型的结构均为人工根据经验设计的,生成的学生网络模型是固定的模型,性能 较差。
技术实现要素:
提供了一种学生网络模型的生成方法、装置、设备以及存储介质,实现了基于自动 机器学习模型,根据教师网络模型生成学生网络模型,生成的学生网络模型的性能优异,从 而通过在预测阶段利用生成的学生网络模型进行预测,提高了预测效率及效果。 根据第一方面,提供了一种学生网络模型的生成方法,包括:获取目标领域的教师 网络模型;通过所述教师网络模型对第一训练样本进行预测以生成第一预测结果;以及将 所述第一训练样本和所述第一预测结果输入自动机器学习模型以生成所述教师网络模型 所对应的学生网络模型,其中,所述自动机器学习模型用于根据所述第一训练样本和所述 第一预测结果训练所述学生网络模型的网络结构。 根据第二方面,提供了一种学生网络模型的生成装置,包括:获取模块,用于获取 目标领域的教师网络模型;第一生成模块,用于通过所述教师网络模型对第一训练样本进 行预测以生成第一预测结果;以及第二生成模块,用于将所述第一训练样本和所述第一预 测结果输入自动机器学习模型以生成所述教师网络模型所对应的学生网络模型,其中,所 述自动机器学习模型用于根据所述第一训练样本和所述第一预测结果训练所述学生网络 模型的网络结构。 根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一 个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指 令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所 述的方法。 根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所 5 CN 111598216 A 说 明 书 2/18 页 述计算机指令用于使所述计算机执行第一方面所述的方法。 根据本申请的技术,实现了基于自动机器学习模型,根据教师网络模型生成学生 网络模型,生成的学生网络模型的性能优异,从而通过在预测阶段利用生成的学生网络模 型进行预测,提高了预测效率及效果。 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特 征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案,不构成对本申请的限定。其中: 图1是根据本申请第一实施例的示意图; 图2是根据本申请第二实施例的示意图; 图3是根据本申请第三实施例的示意图; 图4是根据本申请第四实施例的示意图; 图5是根据本申请第五实施例的示意图; 图6是根据本申请第六实施例的示意图; 图7是根据本申请第七实施例的示意图; 图8是用来实现本申请实施例的学生网络模型的生成方法的电子设备的框图。