logo好方法网

基于手势识别的电梯控制方法及系统


技术摘要:
本发明公开了一种基于手势识别的电梯控制方法及系统,方法包括:建立手势识别模型,并建立目标手势与电梯服务请求一一对应的映射关系;在设定的时间内采集若干帧含有目标手势的图像数据,并将图像数据输入手势识别模型,若在设定的时间内识别出的含有相同目标手势的图  全部
背景技术:
在新冠状病毒肆虐的期间,高频接触的地方,相互交叉感染的风险比较大。电梯是 一个公共的场所,有较多的人触碰,目前现有的电梯控制设备是通过按钮的触发来控制电 梯的上下运行,这种通过点击按钮来触发,无可避免的需要皮肤与按钮的接触,功能上不方 便,严重的会导致病毒或细菌的感染。且电梯的按钮光滑,更适合病毒繁殖。
技术实现要素:
本发明的目的在于提出一种基于手势识别的电梯控制方法及系统,以克服现有技 术中存在的上述不足。 为实现上述技术目的,本发明的技术方案是这样实现的: 基于手势识别的电梯控制方法,所述方法包括以下步骤: 1)建立手势识别模型,并建立目标手势与电梯服务请求一一对应的映射关系; 2)在设定的时间内采集若干帧含有目标手势的图像数据,并将所述图像数据输入 手势识别模型,若在设定的时间内识别出的含有相同目标手势的图像数据的帧数均少于设 定帧数的阈值时,则在显示单元上返回识别无效,并提示用户重新进行目标手势识别,若在 设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据时,则在显示单 元上返回识别的目标手势所对应的电梯服务请求,并进行以下步骤; 3)再次采集含有目标手势的图像数据,并将所述图像数据输入手势识别模型进行 电梯服务请求的确认或者取消,若确认,则执行电梯服务请求,若取消,则电梯不执行任何 动作。 作为一种优选,步骤1)中,建立手势识别模型包括以下步骤: 采集大量的含有目标手势的图像数据,将图像数据的尺寸调整为320x240; 采用ssd检测方法搜索手部区域,以目标边框的长边为基准,围绕着目标的中心, 将目标的边框扩展成为正方形,抠出手部区域,然后调整手部区域至56x56的尺寸; 训练手势识别的网络模型,所述网络模型的主体由若干个卷积网络模块叠加而 成,尾部接上1x64的全连接层,采用arcface的损失函数,做目标手势分类; 待所述网络模型训练充分后,对每一个目标手势采集一张标准的56x56尺寸的图 片,将该图片送入网络模型,得到1x64的特征向量,将所述特征向量进行归一化处理,得到 手势库。 作为一种优选,步骤2)中,所述图像数据在手势识别模型中的识别过程包括以下 步骤: 检测图像数据中的手部区域,并将检测到的手部区域送入到手势识别模型中; 4 CN 111597969 A 说 明 书 2/6 页 计算其特征向量,进行归一化处理并与手势库中的特征比对余弦距离; 取余弦距离最大的即为匹配度最高的目标手势类别,在设定的时间内将识别到的 含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比,若前者不小 于后者,则返回手势识别的结果,并在显示单元上返回识别的目标手势所对应的电梯服务 请求,若前者小于后者,则在显示单元上返回识别无效,并提示用户重新进行手势识别。 基于手势识别的电梯控制系统,所述系统包括: 模型建立模块,包括手势模型建立模块和电梯服务模型建立模块,所述手势模型 建立模块用于建立手势识别模型,所述电梯服务模型建立模块用于建立目标手势与电梯服 务请求一一对应的映射关系; 识别模块,用于在设定的时间内采集若干帧含有目标手势的图像数据,并将所述 图像数据输入手势识别模型,若在设定的时间内识别出的含有相同目标手势的图像数据的 帧数均少于设定帧数的阈值时,则在显示单元上返回识别无效,并提示用户重新进行目标 手势识别,若在设定的时间内识别出有不少于设定帧阈值的含有相同目标手势的图像数据 时,则在显示单元上返回识别的目标手势所对应的电梯服务请求; 确认模块,再次采集含有目标手势的图像数据,并将所述图像数据输入手势识别 模型进行电梯服务请求的确认或者取消,若确认,则执行电梯服务请求,若取消,则电梯不 执行任何动作。 作为一种优选,所述手势模型建立模块包括: 图像采集模块,用于采集大量的含有目标手势的图像数据,并将图像数据的尺寸 调整为320x240; 第一检测模块,采用ssd检测方法搜索手部区域,以目标边框的长边为基准,围绕 着目标的中心,将目标的边框扩展成为正方形,抠出手部区域,然后调整手部区域至56x56 的尺寸; 手势识别模块,用于训练识别手势的网络模型,所述网络模型的主体由若干个卷 积网络模块叠加而成,尾部接上1x64的全连接层,采用arcface的损失函数,做目标手势分 类; 手势库建立模块,用于待所述网络模型训练充分后,对每一个目标手势采集一张 标准的56x56尺寸的图片,将该图片送入网络模型,得到1x64的特征向量,将所述特征向量 进行归一化处理,得到手势库。 作为一种优选,所述识别模块包括: 第二检测模块,用于检测图像数据中的手部区域,并将检测到的手部区域送入到 手势识别模型中; 计算模块,用于计算手部区域的特征向量,进行归一化处理并与手势库中的特征 比对余弦距离; 比对模块,取余弦距离最大的即为匹配度最高的目标手势类别,在设定的时间内 将识别到的含有匹配度最高目标手势类别的图像数据的帧数与设定的帧数阈值进行对比, 若前者不小于后者,则返回手势识别的结果,并在显示单元上返回识别的目标手势所对应 的电梯服务请求,若前者小于后者,则在显示单元上返回识别无效,并提示用户重新进行手 势识别。 5 CN 111597969 A 说 明 书 3/6 页 一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连 接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行如上 所述的电梯控制方法。 一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计 算机指令用于使所述计算机执行如上所述的电梯控制方法。 本发明的有益效果: 本发明采取ssd的目标检测框架,并搭载mobilenetv3的主干网络,在4种不同尺寸 的特征图上检测手部区域,和原始的ssd网络相比,做了结构上的精简;将待识别图片的输 入尺寸调整为320x240,并减少了每个卷积模块的通道数量,加快了网络处理一张图片的速 度;采用arcface的损失函数进行目标手势的分类,通过该损失函数能够使类与类之间的区 别更大,在训练过程中,提高分类的准确率,在使用过程中,使得每个手势类别的特征向量 更具有代表性。 附图说明 图1是本发明所述方法的流程图; 图2是本发明所述系统的功能模块结构示意图; 图3是本发明实施例的一种目标手势展示图。
分享到:
收藏