技术摘要：
本申请公开了一种动作预测方法、装置、设备及存储介质，属于人工智能技术领域。方法包括：获取参考动作序列和动作预测模型，参考动作序列包括至少两帧连续的骨骼数据，动作预测模型包括目标预测模型和目标修正模型；将参考动作序列输入目标预测模型，通过目标预测模型  全部
背景技术：
随着人工智能技术的发展，有效地预测人体动作在计算视觉领域的多方面应用中 发挥着重要作用，例如，人机交互、智能安防、虚拟现实健康观察、自动驾驶和人体目标跟踪 等。然而，由于人体各部分关节在动作中的非线性和高度时空依赖性，预测未来可能的人体 动作是一项非常具有挑战性的任务。 相关技术中，将动作序列输入单级预测模型，利用单级预测模型进行人体动作的 预测。在此种动作预测的过程中，仅关注输入的动作序列，关注的信息较局限，动作预测的 准确度较低。
技术实现要素：
本申请实施例提供了一种动作预测方法、装置、设备及存储介质，可用于提高动作 预测的准确度。所述技术方案如下： 一方面，本申请实施例提供了一种动作预测方法，所述方法包括： 获取参考动作序列和动作预测模型，所述参考动作序列包括至少两帧连续的骨骼 数据，所述动作预测模型包括目标预测模型和目标修正模型； 将所述参考动作序列输入所述目标预测模型，通过所述目标预测模型预测得到所 述参考动作序列对应的初步预测动作序列，所述初步预测动作序列包括至少一帧初步预测 骨骼数据； 利用所述目标修正模型对所述初步预测动作序列进行修正，得到所述参考动作序 列对应的目标预测动作序列。 另一方面，提供了一种动作预测装置，所述装置包括： 获取单元，用于获取参考动作序列和动作预测模型，所述参考动作序列包括至少 两帧连续的骨骼数据，所述动作预测模型包括目标预测模型和目标修正模型； 预测单元，用于将所述参考动作序列输入所述目标预测模型，通过所述目标预测 模型预测得到所述参考动作序列对应的初步预测动作序列，所述初步预测动作序列包括至 少一帧初步预测骨骼数据； 修正单元，用于利用所述目标修正模型对所述初步预测动作序列进行修正，得到 所述参考动作序列对应的目标预测动作序列。 在一种可能实现方式中，所述目标修正模型包括至少两个依次连接的目标修正子 模型，所述修正单元，还用于将所述初步预测动作序列输入所述至少两个依次连接的目标 修正子模型中的第一个目标修正子模型，通过所述第一个目标修正子模型修正得到修正动 作序列；对于所述至少两个依次连接的目标修正子模型中的除第一个目标修正子模型外的 5 CN 111589138 A 说　明　书 2/29 页 其他任一目标修正子模型，将通过前一个目标修正子模型修正得到的修正动作序列输入所 述任一目标修正子模型，通过所述任一目标修正子模型修正得到修正动作序列；将通过所 述至少两个依次连接的目标修正子模型中的最后一个目标修正子模型修正得到的修正动 作序列作为所述参考动作序列对应的目标预测动作序列。 在一种可能实现方式中，所述获取单元，还用于获取训练数据集，所述训练数据集 包括样本动作序列和所述样本动作序列对应的标准动作序列，所述样本动作序列包括至少 两帧连续的骨骼数据，所述标准动作序列包括至少一帧标准骨骼数据； 所述装置还包括： 训练单元，用于利用所述训练数据集中的样本动作序列和标准动作序列对初始预 测模型进行训练，得到目标预测模型；利用所述训练数据集中的样本动作序列和标准动作 序列对初始修正模型进行训练，得到目标修正模型。 在一种可能实现方式中，所述训练单元，还用于将所述训练数据集中的第一样本 动作序列输入初始预测模型，通过所述初始预测模型预测得到所述第一样本动作序列对应 的第一预测动作序列；利用所述第一样本动作序列对应的第一预测动作序列和所述第一样 本动作序列对应的标准动作序列之间的预测损失函数，反向更新所述初始预测模型的参 数，得到参数更新后的预测模型；响应于不满足第一训练终止条件，利用所述训练数据集中 的样本动作序列和标准动作序列继续对所述参数更新后的预测模型进行训练，直至满足所 述第一训练终止条件，将满足所述第一训练终止条件时得到的预测模型作为目标预测模 型。 在一种可能实现方式中，所述训练单元，还用于将所述训练数据集中的第二样本 动作序列输入所述目标预测模型，通过所述目标预测模型预测得到所述第二样本动作序列 对应的第一预测动作序列；利用所述初始修正模型对所述第二样本动作序列对应的第一预 测动作序列进行修正，得到所述第二样本动作序列对应的第二预测动作序列；利用所述第 二样本动作序列对应的第二预测动作序列和所述第二样本动作序列对应的标准动作序列 之间的第一修正损失函数，反向更新所述初始修正模型的参数，得到参数更新后的修正模 型；响应于不满足第二训练终止条件，利用所述训练数据集中的样本动作序列和标准动作 序列继续对所述参数更新后的修正模型进行训练，直至满足所述第二训练终止条件，将满 足所述第二训练终止条件时得到的修正模型作为目标修正模型。 在一种可能实现方式中，所述训练单元，还用于确定第一目标误差；利用所述第一 目标误差对所述第二样本动作序列对应的第一预测动作序列进行调整；利用所述初始修正 模型对所述第二样本动作序列对应的调整后的第一预测动作序列进行修正，得到所述第二 样本动作序列对应的第二预测动作序列。 在一种可能实现方式中，所述训练单元，还用于从所述训练数据集中选取任一第 一候选样本动作序列，将所述第一候选样本动作序列输入第一参考预测模型，通过所述第 一参考预测模型预测得到所述第一候选样本动作序列对应的第一预测动作序列，所述第一 参考预测模型的参数与所述目标预测模型的参数一致；基于所述第一候选样本动作序列对 应的第一预测动作序列和所述第一候选样本动作序列对应的标准动作序列，确定第一标准 误差；基于所述第二样本动作序列对应的第一预测动作序列和所述第一标准误差，利用生 成式对抗网络生成第一目标误差。 6 CN 111589138 A 说　明　书 3/29 页 在一种可能实现方式中，所述训练单元，还用于将所述训练数据集中的第三样本 动作序列输入初始预测模型，通过所述初始预测模型预测得到所述第三样本动作序列对应 的第一预测动作序列；利用所述初始修正模型对所述第三样本动作序列对应的第一预测动 作序列进行修正，得到所述第三样本动作序列对应的第二预测动作序列；利用所述第三样 本动作序列对应的第二预测动作序列和所述第三样本动作序列对应的标准动作序列之间 的第二修正损失函数，反向更新所述初始预测模型的参数和所述初始修正模型的参数，得 到参数更新后的预测模型和参数更新后的修正模型；响应于不满足第三训练终止条件，利 用所述训练数据集中的样本动作序列和标准动作序列继续对所述参数更新后的预测模型 进行训练，利用所述训练数据集中的样本动作序列和标准动作序列继续对所述参数更新后 的修正模型进行训练，直至满足第三训练终止条件，将满足第三训练终止条件时得到的预 测模型作为目标预测模型，将满足第三训练终止条件时得到的修正模型作为目标修正模 型。 在一种可能实现方式中，所述训练单元，还用于确定第二目标误差；利用所述第二 目标误差对所述第三样本动作序列对应的第一预测动作序列进行调整；利用所述初始修正 模型对所述第三样本动作序列对应的调整后的第一预测动作序列进行修正，得到所述第三 样本动作序列对应的第二预测动作序列。 在一种可能实现方式中，所述训练单元，还用于从所述训练数据集中选取任一第 二候选样本动作序列，将所述第二候选样本动作序列输入第二参考预测模型，通过所述第 二参考预测模型预测得到所述第二候选样本动作序列对应的第一预测动作序列，所述第二 参考预测模型的参数与初始预测模型的当前参数一致；基于所述第二候选样本动作序列对 应的第一预测动作序列和所述第二候选样本动作序列对应的标准动作序列，确定第二标准 误差；基于所述第三样本动作序列对应的第一预测动作序列和所述第二标准误差，利用生 成式对抗网络生成第二目标误差。 在一种可能实现方式中，所述初始修正模型包括至少两个依次连接的初始修正子 模型，所述训练单元，还用于利用所述训练数据集中的样本动作序列和标准动作序列对所 述至少两个依次连接的初始修正子模型进行训练，得到至少两个依次连接的目标修正子模 型。 另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存 储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实 现上述任一所述的动作预测方法。 另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储 有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一所述 的动作预测方法。 本申请实施例提供的技术方案至少带来如下有益效果： 利用包括目标预测模型和目标修正模型的动作预测模型进行动作预测，目标预测 模型根据输入的参考动作序列预测出初步预测动作序列，目标修正模型对初步预测动作序 列进行修正，然后得到最终预测的目标预测动作序列。在此种动作预测的过程中，不仅关注 输入的参考动作序列，还关注目标预测模型预测得到的初步预测动作序列，关注的信息较 丰富，有利于提高动作预测的准确度，动作预测的效果较好。 7 CN 111589138 A 说　明　书 4/29 页 附图说明 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于 本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。 图1是本申请实施例提供的一种动作预测方法的实施环境的示意图； 图2是本申请实施例提供的一种动作预测方法的流程图； 图3是本申请实施例提供的一种训练得到动作预测模型的方法的流程图； 图4是本申请实施例提供的一种训练初始预测模型的过程示意图； 图5是本申请实施例提供的一种训练初始修正模型的过程示意图； 图6是本申请实施例提供的一种训练初始预测模型和初始修正模型的过程示意 图； 图7是本申请实施例提供的一种动作序列的可视化效果示意图； 图8是本申请实施例提供的一种动作序列的可视化效果示意图； 图9是本申请实施例提供的一种动作序列的可视化效果示意图； 图10是本申请实施例提供的一种动作预测装置的示意图； 图11是本申请实施例提供的一种动作预测装置的示意图； 图12是本申请实施例提供的一种终端的结构示意图； 图13是本申请实施例提供的一种服务器的结构示意图。