logo好方法网

人体姿态估计方法、装置、电子设备及介质


技术摘要:
本公开实施例公开了一种人体姿态估计方法、装置、电子设备及介质。该人体姿态估计方法包括:构建并训练对抗网络模型,所述对抗网络模型包括特征提取器、判别器和生成器;响应于获取信道状态信息,至少经过所述特征提取器处理以获取特征信息;以及通过生成器处理所述特  全部
背景技术:
人体姿态估计是指提取人体肢体的关键点,重新组成二维人体骨架或轮廓的过 程。人体姿态估计被广泛应用于国防安全、人机交互和智能家居等多个领域,发挥着举足轻 重的作用。目前,人体姿态估计的方法主要包括计算机视觉和无线感知等方法。基于计算机 视觉的方法主要通过深度学习等方式,从摄像头采集到的图像中提取人体各部分位置信 息,从而估计人体姿态信息。该方法应用广发,但是易受光照条件影响,并且无法穿过障碍 物估计人体姿态,甚至可能会泄露隐私。基于无线感知技术包括使用RF和Wi-Fi信号进行人 体姿态估计。相比于RF信号需要专有感知设备,Wi-Fi信号部署广泛,价格低廉,具有十分巨 大的发展前景。 但是,由于个体差异,例如身高、体重和服装等差异性,相同人体姿态对Wi-Fi信号 反射路径造成的影响也具有差异性,从而导致动态成分具有差异性。这种差异会极大地降 低对未知个体的姿态估计准确度,降低其模型泛化能力,因而极大地限制了基于Wi-Fi信号 的人体姿态估计技术的实用性。
技术实现要素:
为了解决相关技术中的问题,本公开实施例提供一种人体姿态估计方法、装置、电 子设备及介质。 第一方面,本公开实施例中提供了一种人体姿态估计方法。 具体地,所述人体姿态估计方法包括: 构建并训练对抗网络模型,所述对抗网络模型包括特征提取器、判别器和生成器; 响应于获取信道状态信息,至少经过所述特征提取器处理以获取特征信息;以及 通过生成器处理所述特征信息以获取人体姿态估计结果。 结合第一方面,本公开在第一方面的第一种实现方式中,所述响应于获取信道状 态信息,至少经过所述特征提取器处理以获取特征信息,包括: 获取信道状态信息; 提取所述信道状态信息中的动态成分; 通过所述特征提取器处理所述动态成分以获取特征信息。 结合第一方面,本公开在第一方面的第二种实现方式中,所述训练对抗网络模型 包括: 获取样本数据,所述样本数据包括信道状态信息、姿态估计标签以及域标签; 基于所述信道状态信息和所述姿态估计标签,预训练所述特征提取器和所述生成 器,直至满足第一收敛条件; 4 CN 111582200 A 说 明 书 2/11 页 基于所述信道状态信息和所述域标签,预训练所述判别器,直至满足第二收敛条 件; 对抗训练所述对抗网络模型,直至满足第三收敛条件。 结合第一方面的第二种实现方式,本公开在第一方面的第三种实现方式中,所述 获取样本数据包括: 获取信道状态信息,以及与所述信道状态信息对应的视频帧和域标签; 处理所述视频帧以获取姿态估计标签;以及 基于所述信道状态信息、所述姿态估计标签以及所述域标签确定样本数据。 结合第一方面的第二种实现方式,本公开在第一方面的第四种实现方式中,所述 基于所述信道状态信息和所述姿态估计标签,预训练所述特征提取器和所述生成器,直至 满足第一收敛条件,包括: 通过所述特征提取器处理所述信道状态信息以获取特征信息; 通过所述生成器处理所述特征信息以获取人体姿态估计结果; 基于所述姿态估计标签以及所述人体姿态估计结果,确定生成器损失; 优化所述生成器损失直至满足第一收敛条件。 结合第一方面的第二种实现方式,本公开在第一方面的第五种实现方式中,所述 基于所述信道状态信息和所述域标签,预训练所述判别器,直至满足第二收敛条件,包括: 通过所述特征提取器处理所述信道状态信息以获取特征信息; 通过所述判别器处理所述特征信息以获取判别所述样本数据所属的域的判别结 果; 基于所述域标签以及所述判别结果,确定判别器损失; 优化所述判别器损失直至满足第二收敛条件。 结合第一方面的第二种实现方式,本公开在第一方面的第六种实现方式中,所述 对抗训练所述对抗网络模型,直至满足第三收敛条件,包括: 基于生成器损失和判别器损失确定联合损失; 优化所述判别器损失和所述联合损失直至满足第三收敛条件。 第二方面,本公开实施例中提供了一种人体姿态估计装置。 具体地,所述人体姿态估计装置包括: 模型准备模块,被配置为构建并训练对抗网络模型,所述对抗网络模型包括特征 提取器、判别器和生成器; 特征提取模块,被配置为响应于获取信道状态信息,至少经过所述特征提取器处 理以获取特征信息;以及 姿态估计模块,被配置为通过生成器处理所述特征信息以获取人体姿态估计结 果。 第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,其中,所述 存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器 执行以实现如第一方面、第一方面的第一种到第六种实现方式任一项所述的方法。 第四方面,本公开实施例中提供了一种计算机可读存储介质,其上存储有计算机 指令,该计算机指令被处理器执行时实现如第一方面、第一方面的第一种到第六种实现方 5 CN 111582200 A 说 明 书 3/11 页 式任一项所述的方法。 根据本公开实施例提供的技术方案,通过构建并训练对抗网络模型,所述对抗网 络模型包括特征提取器、判别器和生成器;响应于获取信道状态信息,至少经过所述特征提 取器处理以获取特征信息;以及通过生成器处理所述特征信息以获取人体姿态估计结果, 可以降低个体差异对姿态估计的影响,提高姿态估计的准确度。 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不 能限制本公开。 附图说明 结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优 点将变得更加明显。在附图中: 图1示出根据本公开实施例的人体姿态估计方法的流程图; 图2示出根据本公开实施例的对抗网络模型的示意图; 图3示出根据本公开实施例的获取特征信息的流程图; 图4示出根据本公开实施例的训练对抗网络模型的流程图; 图5示出根据本公开实施例的获取样本数据的流程图; 图6示出根据本公开实施例的预训练特征提取器和生成器的流程图; 图7示出根据本公开实施例的预训练判别器的流程图; 图8示出根据本公开实施例的对抗训练所述对抗网络模型的流程图; 图9示出根据本公开实施例的人体姿态估计装置的框图; 图10示出根据本公开实施例的电子设备的框图; 图11示出根据本公开实施例的适于实现人体姿态估计方法的计算机系统的结构 示意图。
分享到:
收藏