技术摘要：
本发明公开了一种基于移位图卷积神经网络骨骼点行为识别系统包括：图像获取模块、图像处理模块、提取模块和行为识别模块，其中图像获取模块用于获取行为图像；图像处理模块用于处理图像获取模块获取的行为图像进行图像处理；提取模块用于提取图像处理模块处理后图像的  全部
背景技术：
在行为识别任务中，受制于数据量以及算法的制约，基于RGB图像的行为识别模型 常常会受到视角的变化以及复杂背景的干扰，从而导致泛化性能不足，在实际应用中鲁棒 性差。而基于骨骼点数据的行为识别可以较好地解决这个问题。 在骨骼点数据中，人体是由若干预先定义好的关键关节点在相机坐标系中的坐标 来表示的。它可以很方便地通过深度摄像头以及各种姿态估计算法获得。 然在这种传统的图卷积方法中，其建模的卷积核只能覆盖一个点的邻域。但骨骼 点行为识别任务中，一些行为（例如拍手动作）需要建模物理上相距较远的点（例如两只手） 的位置关系。这就需要增加图卷积模型的卷积核大小。但图卷积的计算量又会随着卷积核 增大而增大，导致传统图卷积计算量较大。
技术实现要素：
发明目的：提供一种基于移位图卷积神经网络骨骼点行为识别系统，以解决现有 技术存在的上述问题。 技术方案：一种基于移位图卷积神经网络骨骼点行为识别系统，包括： 用于获取行为图像的图像获取模块； 用于处理图像获取模块获取的行为图像进行图像处理的图像处理模块； 用于提取图像处理模块处理后图像的骨骼点提取模块； 用于识别提取模块提取骨骼点行为特征的行为识别模块。 在进一步的实施例中，所述图像获取模块基于图像获取装置，所述图像获取装置 包括呈等边三角形放置的摄像器，以及设置在所述摄像器尾部的转动装置，所述转动装置 包括与所述摄像器固定连接的转动轴，套接所述转动轴的转动电机。 在进一步的实施例中，所述图像获取模块通过三组呈等边三角形放置的摄像器进 行摄像人体行为，进而将三组摄像器获取的行为图像进行安装前、后、侧部进行分别呈现在 电脑终端上，进而以供图像处理模块进行对比处理图像。 在进一步的实施例中，所述图像处理模块主要进行对图像获取模块获取到的人体 行为图像进行处理为人体边缘图；通过Krisch边缘检测算子，在检测图像边缘的时候使用 卷积3*3模板，遍历图像中的像素点，逐一考察各个像素点周围邻近区域的像素灰度值，计 算其中三个相邻像素灰度的加权与其余五个像素的灰度加权和差值；卷积模板如下： 7 CN 111582220 A 说　明　书 2/10 页            1                2               3              4            5                6               7              8 使用八个卷积模板，依次处理原图像中的所有像素，计算得到其边缘强度，再通过阀值 进行检测，提取最后边缘点，完成边缘检测； Krisch算子检测图像边缘实现步骤如下： 步骤1、获取原图像的数据区指针； 步骤2、建立两个缓冲区，缓冲区大小与原图形相同，缓冲区主要用于存储原图像及原 图形副本，将两个缓冲区初始化为原图像副本，分别标记为图像1和图像2； 步骤3、在每个缓冲区域中单独设置一个用于卷积操作的Krisch模板，然后在两个区域 中分别遍历副本图像中的像素，逐一进行卷积操作，计算结果，对比将计算得出的较值存到 图像1中，再将图像1复制到缓存图像2中； 步骤4、重复步骤3，一次设置剩余的六个模板，并进行计算处理，最后得出图像1与图像 2中较大灰度值存放在缓冲图像1中； 步骤5、将处理后的图像1复制到原图像数据中，在进行编程实现图像的边缘处理。 在进一步的实施例中，所述提取模块用于提取图像处理模块处理后图像的骨骼点 提取，当图像处理模块处理图像获取模块获取的图像完成后，此时人体边缘图上将按照最 接近获取图像行为人体型进行匹配预先录入的骨骼点位置，进而将匹配后的骨骼点进行显 示在人体边缘图上。 在进一步的实施例中，所述提取模块中还包括修正模块，在图像获取模块进行获 取人体行为图像时，由于人的体型不同，在不同体型的人进行同一组动作时，由于他们的骨 架大小不同，会带来骨骼点的三维坐标不同，因此需要将骨架尺寸归一化为同一种尺寸； 首先选取一个人的骨架作为参考骨架，对于某帧骨骼数据，选择身体中心点，作为根节 点，计算所有与根节点直接相连点到根节点的向量，再用每个向量分别处以向量的模长，得 到每个向量的方向向量（模长为1），然后用该方向向量乘以参考骨架中相应向量的长度得 到一个向量，再用根节点的坐标加上该向量，得到修正后的某个与根节点直接相连点的坐 标，将相连点坐标记录下来，作为归一化后相应骨骼点的坐标值，在按照广度优先搜索算法 的顺序，依次更新根节点的坐标值，重复上述步骤直至所有骨骼点的值都得到修正，算法如 下： 输入：参考附加中的肢体的长度为 ，准备归一化的骨骼点坐标值； 第一步：定义 为根节点坐标； 第二步：将 赋初始值为 ； 第三步；对所有的（ ），按照广度优先搜索策略，依次执行； 第四步：计算 - ； 第五步：计算 ； 8 CN 111582220 A 说　明　书 3/10 页 第六步： ，将 的值保存到集合A中； 第七步：返回第三部，知道骨架中的所有的肢体都遍历完成； 输出：集合A中保存的骨骼点坐标即为修正后的坐标； 其中，的值代表第 个肢体， 代表参考估价中的第 个肢体的长度， 分别 表示参考估价中第 个肢体开始节点和结束节点的坐标值，这样将所有的 的值计算出 来，即可得到所有修正后的骨骼点坐标，在保证肢体间夹角不变的情况下，进行对估价的尺 寸进行缩放； 而当肢体间的夹角发生变化时，选用向量间夹角来进行对骨骼点的描述，以避免肢体 间的夹角发生变化时出现的骨骼点偏移； 求解人体关节向量夹角步骤如下： 求某个关节点的角度，首先要得到计算角度时用到的三个关节点，利用Kinect捕捉关 节点的三维坐标值，构件三个关节点之间的结构向量，然后采用反余弦定理求得关节向量 夹角的大小； 设求取第一关节的角度 为例； 选择和第一关节相连的其它两个关节点，获取Kinect捕捉到的关节点三维坐标值，其 它 两 个 关 节 点 表 示 为 、 ，第 一 关 节 点 表 示 为 ； 构造关节间结构向量，第一关节点到 点向量 = ，第一关节点到 点向量 = ， 点 到 点 的 向 量 为 ； 计算向量 和向量 的夹角 大小： 其中， 的范围在0°到180°之间，为了使基于关节向量夹角表示更为准确，根据关节 角度在行为过程中的重要性排序，选取具有代表性的关节角度来进行表示，进而通过尺寸 归一化与角度修正进行对骨骼点位置进行修正。 在进一步的实施例中，所述行为识别模块主要用于进行识别提取骨骼点行为特 征，根据图的邻接关系将邻接的行为特征进行移位拼接，拼接之后只需进行一次1*1的卷积即 可得到计算后的行为特征，对于一个 个节点图来讲，设特征维度为 ，特征大小为 ，其 中节点 的有个 个节点与之相邻，其邻接节点构成的集合为 ； 对于第 个节点，移位图模块将其特征均分为 1份，第一份保持其自身特征，后面 份从其 邻居节点特征移位，数学表达如下： = 9 CN 111582220 A 说　明　书 4/10 页 其中， ，  中的下标 表示Python的标记， 双竖线表示特征维度进行特 征拼接。 一种基于移位图卷积神经网络骨骼点行为识别系统的识别方法，包括： 步骤1、首先通过图像获取模块进行控制摄像器进行转动，进而进行对人体行为特征图 像进行获取；通过转动电机转动进行带动转动轴进行转动，进而通过转动轴带动摄像器进 行转动，进而调整摄像器位置； 步骤2、图像获取模块通过三组呈等边三角形放置的摄像器进行摄像人体行为，进而将 三组摄像器获取的行为图像进行安装前、后、侧部进行分别呈现在电脑终端上，进而以供图 像处理模块进行对比处理图像； 步骤3、图像处理模块主要进行对图像获取模块获取到的人体行为图像进行处理为人 体边缘图；通过Krisch边缘检测算子，在检测图像边缘的时候使用卷积3*3模板，遍历图像 中的像素点，逐一考察各个像素点周围邻近区域的像素灰度值，计算其中三个相邻像素灰 度的加权与其余五个像素的灰度加权和差值； 使用八个卷积模板，依次处理原图像中的所有像素，计算得到其边缘强度，再通过阀值 进行检测，提取最后边缘点，完成边缘检测； Krisch算子检测图像边缘实现步骤如下： 步骤1、获取原图像的数据区指针； 步骤2、建立两个缓冲区，缓冲区大小与原图形相同，缓冲区主要用于存储原图像及原 图形副本，将两个缓冲区初始化为原图像副本，分别标记为图像1和图像2； 步骤3、在每个缓冲区域中单独设置一个用于卷积操作的Krisch模板，然后在两个区域 中分别遍历副本图像中的像素，逐一进行卷积操作，计算结果，对比将计算得出的较值存到 图像1中，再将图像1复制到缓存图像2中； 步骤4、重复步骤3，一次设置剩余的六个模板，并进行计算处理，最后得出图像1与图像 2中较大灰度值存放在缓冲图像1中； 步骤5、将处理后的图像1复制到原图像数据中，在进行编程实现图像的边缘处理； 步骤4、当人体行为特征图像处理完成后，提取模块用于提取图像处理模块处理后图像 的骨骼点提取，当图像处理模块处理图像获取模块获取的图像完成后，此时人体边缘图上 将按照最接近获取图像行为人体型进行匹配预先录入的骨骼点位置，进而将匹配后的骨骼 点进行显示在人体边缘图上； 步骤5、当骨骼点提取完成后，再由修正模块进行修正骨骼点位置，在图像获取模块进 行获取人体行为图像时，由于人的体型不同，在不同体型的人进行同一组动作时，由于他们 的骨架大小不同，会带来骨骼点的三维坐标不同，因此需要将骨架尺寸归一化为同一种尺 寸；首先选取一个人的骨架作为参考骨架，对于某帧骨骼数据，选择身体中心点，作为根节 点，计算所有与根节点直接相连点到根节点的向量，再用每个向量分别处以向量的模长，得 到每个向量的方向向量（模长为1），然后用该方向向量乘以参考骨架中相应向量的长度得 到一个向量，再用根节点的坐标加上该向量，得到修正后的某个与根节点直接相连点的坐 标，将相连点坐标记录下来，作为归一化后相应骨骼点的坐标值，在按照广度优先搜索算法 的顺序，依次更新根节点的坐标值，重复上述步骤直至所有骨骼点的值都得到修正；而此修 10 CN 111582220 A 说　明　书 5/10 页 正方法是在保证肢体间夹角不变的情况下，进行对估价的尺寸进行缩放； 而当肢体间的夹角发生变化时，选用向量间夹角来进行对骨骼点的描述，以避免肢体 间的夹角发生变化时出现的骨骼点偏移； 求解人体关节向量夹角步骤如下： 求某个关节点的角度，首先要得到计算角度时用到的三个关节点，利用Kinect捕捉关 节点的三维坐标值，构件三个关节点之间的结构向量，然后采用反余弦定理求得关节向量 夹角的大小； 设求取第一关节的角度 为例； 选择和第一关节相连的其它两个关节点，获取Kinect捕捉到的关节点三维坐标值，其 它 两 个 关 节 点 表 示 为 、 ，第 一 关 节 点 表 示 为 ； 构造关节间结构向量，第一关节点到 点向量 = ，第一关节点到 点向量 = ， 点 到 点 的 向 量 为 ； 计算向量 和向量 的夹角 大小： 其中， 的范围在0°到180°之间，为了使基于关节向量夹角表示更为  准确，根据关节 角度在行为过程中的重要性排序，选取具有代表性的关节角度来进行表示，进而通过尺寸 归一化与角度修正进行对骨骼点位置进行修正； 步骤6、当骨骼点修正完成后，此时由行为识别模块进行对骨骼点行为识别，根据图的 邻接关系将邻接的行为特征进行移位拼接，拼接之后只需进行一次1*1的卷积即可得到计 算后的行为特征，对于一个 个节点图来讲，设特征维度为 ，特征大小为 ，其中节点 的有个 个节点与之相邻，其邻接节点构成的集合为 ；对于第 个节点，移位图模块将其特征均分为 1份，第一份保持其自身特征，后面 份从其邻居节 点特征移位，数学表达如下： = 其中， ，  中的下标 表示Python的标记， 双竖线表示特征维度进行特 征拼接，进而识别出骨骼点行为特征。 有益效果：本发明公开了一种基于移位图卷积神经网络骨骼点行为识别系统，设 计行为识别模块进行对骨骼点行为识别，可显著减小图卷积计算量的新型图卷积，与传统 图卷积不同，移位图卷积不是通过扩大卷积核来扩展感受范围，而是通过一种新型移位操 作来使得图特征进行移位拼接，可以在显著减少计算量提高计算速度的情况下达到同样甚 11 CN 111582220 A 说　明　书 6/10 页 至更高的识别精度，进而避免传统图卷积的计算量会随着卷积核增大而增大，进而导致传 统图卷积计算量较大的情况出现。 附图说明 图1是本发明的骨骼点行为识别移位图卷积示意图。 图2是本发明的local图表示意图。 图3是本发明的non-local图表示意图。 图4是骨骼点行为识别传统图卷积示意图。 图5是移位图卷积与传统图卷积方法的精度和计算复杂度对比表。