logo好方法网

语义理解模型的剪枝方法、装置、电子设备和存储介质


技术摘要:
本申请公开了一种语义理解模型的剪枝方法、装置、电子设备和存储介质,涉及人工智能、深度学习、云计算、自然语言处理、智能搜索等领域。具体实现方案为:获取第一语义理解模型;在第一搜索空间中随机采样第一剪枝策略;根据采样得到的第一剪枝策略对第一语义理解模型  全部
背景技术:
NLP(Natural  Language  Processing,自然语言处理)是计算机科学领域与人工智 能领域中的一个重要方向。人们在处理NLP任务时,通常会选择构建各种语义理解模型来解 决。近年来,语义理解模型已能获取丰富的语义知识,语义表示能力大幅提升,同时,语义理 解模型的模型结构也越来越复杂。
技术实现要素:
本申请提供了一种语义理解模型的剪枝方法、装置、电子设备和存储介质。 根据本申请的一方面,提供了一种语义理解模型的剪枝方法,包括: 获取第一语义理解模型; 在第一搜索空间中随机采样第一剪枝策略,其中,第一搜索空间包括至少两个第 一剪枝策略; 根据采样得到的第一剪枝策略对第一语义理解模型进行剪枝,得到第二语义理解 模型; 根据第二语义理解模型的性能信息,更新第一语义理解模型的参数,返回在第一 搜索空间中随机采样第一剪枝策略的步骤,直至达到预设的停止条件,得到待处理的第一 语义理解模型; 获取目标剪枝策略; 根据目标剪枝策略,对待处理的第一语义理解模型进行剪枝,得到目标模型。 根据本申请的另一方面,提供了一种语义理解模型的剪枝装置,包括: 第一获取模块,用于获取第一语义理解模型; 第一采样模块,用于在第一搜索空间中随机采样第一剪枝策略,其中,第一搜索空 间包括至少两个第一剪枝策略; 第一剪枝模块,用于根据采样得到的第一剪枝策略对第一语义理解模型进行剪 枝,得到第二语义理解模型; 第一更新模块,用于根据第二语义理解模型的性能信息,更新第一语义理解模型 的参数,返回在第一搜索空间中随机采样第一剪枝策略的步骤,直至达到预设的停止条件, 得到待处理的第一语义理解模型; 第二获取模块,用于获取目标剪枝策略; 目标剪枝模块,用于根据目标剪枝策略,对待处理的第一语义理解模型进行剪枝, 得到目标模型。 根据本申请的另一方面,提供了一种电子设备,包括: 5 CN 111553169 A 说 明 书 2/9 页 至少一个处理器;以及 与至少一个处理器通信连接的存储器;其中, 存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以 使至少一个处理器能够执行本申请任意实施例提供的方法。 根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储 介质,计算机指令用于使计算机执行本申请任意实施例提供的方法。 根据本申请的技术方案,基于在第一搜索空间中随机采样得到的剪枝策略,对第 一语义理解模型进行剪枝,并根据剪枝得到的第二语义理解模型的性能更新第一语义理解 模型的参数,通过迭代采样和更新,使得第一语义理解模型对剪枝不敏感。因此,根据目标 剪枝策略对第一语义理解模型进行剪枝,能够通过剪枝使模型的结构复杂度降低,并减少 因剪枝而损失的精度,得到结构精简且性能较好的目标模型。 应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特 征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。 附图说明 附图用于更好地理解本方案,不构成对本申请的限定。其中: 图1是本申请示例性实施例提供的语义理解模型的剪枝方法的示意图; 图2是本申请示例性实施例提供的语义理解模型的剪枝方法的示意图; 图3是本申请示例性实施例提供的语义理解模型的剪枝装置的示意图; 图4是本申请示例性实施例提供的语义理解模型的剪枝装置的示意图; 图5是用来实现本申请实施例的语义理解模型的剪枝方法的电子设备的框图。
分享到:
收藏