logo好方法网

三维虚拟模型重建方法、装置、计算机设备和存储介质


技术摘要:
本申请涉及一种三维虚拟模型重建方法、装置、计算机设备和存储介质。所述方法包括:获取目标对象的图像,所述目标对象具有活动的肢体;对所述图像进行特征提取,并对提取的特征进行图卷积处理,得到不同尺度的点云坐标;根据所述不同尺度的点云坐标生成所述目标对象的  全部
背景技术:
随着计算机技术的发展,出现了人工智能技术技术,人工智能(Artificial  Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智 能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。目前人工 智能在多个领域展开了研究和应用,例如,通过人工智能实现三维模型的重建。三维模型的 重建往往应用于虚拟现实场景、人体特效以及人体检测等方面。 传统的三维虚拟模型重建方式通过将深度图的不规整点云与三维人体规则网格 模型进行匹配对齐得到。但该方式匹配对齐的结果严重依赖于深度图的质量,如果深度图 的分辨率比较低时,重建得到的三维虚拟模型并不准确。
技术实现要素:
基于此,有必要针对上述技术问题,提供一种能够提高重建准确性的三维虚拟模 型重建方法、装置、计算机设备和存储介质。 一种三维虚拟模型重建方法,所述方法包括: 获取目标对象的图像,所述目标对象具有活动的肢体; 对所述图像进行特征提取,并对提取的特征进行图卷积处理,得到不同尺度的点 云坐标; 根据所述不同尺度的点云坐标生成所述目标对象的三维参数; 基于所述目标对象的三维参数,重建所述目标对象的三维虚拟模型;所述三维虚 拟模型具有与所述图像中的所述目标对象相匹配的肢体形态。 一种三维虚拟模型重建装置,所述装置包括: 图像获取模块,用于获取目标对象的图像,所述目标对象具有活动的肢体; 特征提取模块,用于对所述图像进行特征提取,并对提取的特征进行图卷积处理, 得到不同尺度的点云坐标; 生成模块,用于根据所述不同尺度的点云坐标生成所述目标对象的三维参数; 重建模块,用于基于所述目标对象的三维参数,重建所述目标对象的三维虚拟模 型;所述三维虚拟模型具有与所述图像中的所述目标对象相匹配的肢体形态。 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理 器执行所述计算机程序时实现以下步骤: 获取目标对象的图像,所述目标对象具有活动的肢体; 对所述图像进行特征提取,并对提取的特征进行图卷积处理,得到不同尺度的点 云坐标; 5 CN 111598998 A 说 明 书 2/24 页 根据所述不同尺度的点云坐标生成所述目标对象的三维参数; 基于所述目标对象的三维参数,重建所述目标对象的三维虚拟模型;所述三维虚 拟模型具有与所述图像中的所述目标对象相匹配的肢体形态。 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执 行时实现以下步骤: 获取目标对象的图像,所述目标对象具有活动的肢体; 对所述图像进行特征提取,并对提取的特征进行图卷积处理,得到不同尺度的点 云坐标; 根据所述不同尺度的点云坐标生成所述目标对象的三维参数; 基于所述目标对象的三维参数,重建所述目标对象的三维虚拟模型;所述三维虚 拟模型具有与所述图像中的所述目标对象相匹配的肢体形态。 上述三维虚拟模型重建方法、装置、计算机设备和存储介质,通过获取目标对象的 图像,该目标对象具有活动的肢体,对图像进行特征提取,并对提取的特征进行图卷积处 理,得到不同尺度的点云坐标,根据不同尺度的点云坐标生成目标对象的三维参数,能够通 过图卷积准确生成图像中的目标对象的三维参数。基于目标对象的三维参数重建目标对象 的三维虚拟模型,该三维虚拟模型具有与图像中的目标对象相匹配的肢体形态,从而提高 三维虚拟模型重建的准确性。 一种重建网络的训练方法,所述方法包括: 获取第一对象的第一训练图像;所述第一对象具有活动的肢体; 通过待训练的重建网络对所述第一训练图像进行特征提取,并对提取的特征进行 图卷积处理,得到不同尺度的点云坐标; 基于所述不同尺度的点云坐标生成所述第一对象的预测三维参数; 根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失函数; 基于所述目标损失函数对所述待训练的重建网络进行训练,当满足训练停止条件 时得到训练好的重建网络;所述训练好的重建网络,用于将图像中具有活动肢体的对象重 建为与所述对象具有匹配的肢体形态的三维虚拟模型。 一种重建网络的训练装置,所述装置包括: 训练图像获取模块,用于获取第一对象的第一训练图像;所述第一对象具有活动 的肢体; 输入模块,用于通过待训练的重建网络对所述第一训练图像进行特征提取,并对 提取的特征进行图卷积处理,得到不同尺度的点云坐标; 预测模块,用于基于所述不同尺度的点云坐标生成所述第一对象的预测三维参 数; 构建模块,用于根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失 函数; 训练模块,用于基于所述目标损失函数对所述待训练的重建网络进行训练,当满 足训练停止条件时得到训练好的重建网络;所述训练好的重建网络,用于将图像中具有活 动肢体的对象重建为与所述对象具有匹配的肢体形态的三维虚拟模型。 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理 6 CN 111598998 A 说 明 书 3/24 页 器执行所述计算机程序时实现以下步骤: 获取第一对象的第一训练图像;所述第一对象具有活动的肢体; 通过待训练的重建网络对所述第一训练图像进行特征提取,并对提取的特征进行 图卷积处理,得到不同尺度的点云坐标; 基于所述不同尺度的点云坐标生成所述第一对象的预测三维参数; 根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失函数; 基于所述目标损失函数对所述待训练的重建网络进行训练,当满足训练停止条件 时得到训练好的重建网络;所述训练好的重建网络,用于将图像中具有活动肢体的对象重 建为与所述对象具有匹配的肢体形态的三维虚拟模型。 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执 行时实现以下步骤: 获取第一对象的第一训练图像;所述第一对象具有活动的肢体; 通过待训练的重建网络对所述第一训练图像进行特征提取,并对提取的特征进行 图卷积处理,得到不同尺度的点云坐标; 基于所述不同尺度的点云坐标生成所述第一对象的预测三维参数; 根据所述不同尺度的点云坐标和所述预测三维参数构建目标损失函数; 基于所述目标损失函数对所述待训练的重建网络进行训练,当满足训练停止条件 时得到训练好的重建网络;所述训练好的重建网络,用于将图像中具有活动肢体的对象重 建为与所述对象具有匹配的肢体形态的三维虚拟模型。 上述重建网络的训练方法、装置、计算机设备和存储介质,通过获取具有活动肢体 的第一对象的第一训练图像,通过待训练的重建网络对第一训练图像进行特征提取,并对 提取的特征进行图卷积处理,得到不同尺度的点云坐标,基于不同尺度的点云坐标生成第 一对象的预测三维参数,根据不同尺度的点云坐标和预测三维参数构建目标损失函数,基 于目标损失函数对待训练的重建网络进行训练,当满足训练停止条件时得到训练好的重建 网络,使得训练好的重建网络对二维图像中的目标对象的三维参数的预测更准确。使用训 练好的重建网络准确预测二维图像中的目标对象的三维参数,从而根据三维参数准确重建 目标对象对应的三维虚拟模型。 附图说明 图1为一个实施例中三维虚拟模型重建方法的应用环境图; 图2为一个实施例中三维虚拟模型重建方法的流程示意图; 图3为一个实施例中对图像进行特征提取,并对提取的特征进行图卷积处理,得到 不同尺度的点云坐标的步骤的流程示意图; 图4为一个实施例中图卷积的原理图; 图5为一个实施例中获取目标对象的图像的步骤的流程示意图; 图6为其中一个实施例中三维虚拟模型重建方法的流程示意图; 图7(a)为一个实施例中重建三维虚拟模型的框架图; 图7(b)为一个实施例中实时重建视频中的目标人体对应的三维虚拟模型的流程 图; 7 CN 111598998 A 说 明 书 4/24 页 图8为一个实施例中重建网络的训练方法的流程示意图; 图9为一个实施例中根据不同尺度的点云坐标和预测三维参数构建目标损失函数 的步骤的流程图; 图10为一个实施例中对二维图像中的人体进行三维虚拟模型重建的框架图; 图11为一个实施例中三维虚拟模型重建装置的结构框图; 图12为一个实施例中重建网络的训练装置的结构框图; 图13为一个实施例中计算机设备的内部结构图。
分享到:
收藏