
技术摘要:
本申请涉及人机交互技术领域,提出一种基于指尖交互的手势控制方法、装置、终端设备和存储介质。本申请通过检测用户各个指尖的交互手势以及各个指尖在手势检测空间中的位置信息,然后根据检测到的指尖交互手势和指尖的位置,确定对应的操作指令,以完成对终端设备执行 全部
背景技术:
随着电子设备智能化的发展,用户与手机、电脑、电视等电子设备之间的交互和控 制方式不断更新,目前已经推出手势控制的方式。手势控制,指用户无需借助任何输入工 具,只需在电子设备的检测区域内做出各种手势,就可以实现对电子设备的各类操作,比如 打开某个应用,拖动某个图标等。 现有的手势控制方式,通常是预设各个手势和各个操作动作之间的一一对应关 系,即每个手势对应一种类型的操作动作。然而,这种手势交互方式每次只能输入一种操作 指令,故通常只能实现比较简单的操作,面对复杂的操作则无能为力。
技术实现要素:
有鉴于此,本申请实施例提供了一种基于指尖交互的手势控制方法、装置、终端设 备和存储介质,能够同时输入不同的操作指令,以实现对终端设备进行复杂的操作。 本申请实施例的第一方面提供了一种基于指尖交互的手势控制方法,包括: 检测由用户的各个指尖交互形成的目标手势以及所述各个指尖在手势检测空间 中的位置信息; 根据所述目标手势和所述位置信息,确定对终端设备执行的目标操作。 本申请实施例通过检测用户各个指尖的交互手势以及各个指尖在手势检测空间 中的位置信息,然后根据检测到的指尖交互手势和指尖的位置,确定对应的操作指令,以完 成对终端设备执行的操作。基于不同的指尖交互方式和指尖移动方式,能够构建并关联多 种不同的操作指令,因此用户只需在手势控制空间中做出各种指尖交互手势,并结合指尖 的移动,就能够同时输入不同的操作指令,以实现对终端设备的复杂操作。 进一步的,所述根据所述目标手势和所述位置信息,确定对终端设备执行的目标 操作可以包括: 识别所述目标手势中相互接触的二个以上的指尖,得到指尖交互手势组合; 查找预设的与所述指尖交互手势组合关联的操作动作; 根据所述操作动作和所述位置信息,确定对终端设备执行的目标操作。 基于不同的指尖交互手势组合,能够构建并关联多种不同的操作指令,因此用户 只需在手势控制空间中做出各种不同的指尖交互手势,就能实现对终端设备的复杂操作。 进一步的,所述检测所述各个指尖在手势检测空间中的位置信息可以包括: 检测触发手势控制时所述各个指尖在所述手势检测空间中的初始位置信息、所述 各个指尖在所述手势检测空间中的移动轨迹以及当前所述各个指尖在所述手势检测空间 中的目标位置信息; 4 CN 111596757 A 说 明 书 2/18 页 所述根据所述操作动作和所述位置信息,确定对终端设备执行的目标操作可以包 括: 结合所述初始位置信息、所述移动轨迹、所述目标位置信息和所述操作动作,确定 对终端设备执行的目标操作。 各个指尖的位置信息包括初始位置信息、移动轨迹和当前的目标位置信息,结合 这些位置信息和识别手势得到的操作动作,可以确定对终端设备执行的目标操作。比如,识 别手势得到的操作动作为移动光标,检测到的指尖的初始位置信息处于空间的左下角,各 个指尖朝空间的右上角移动,当前的目标位置信息处于空间的右上角,则可以确定对终端 设备执行的目标操作为,控制光标从终端显示界面的左下角移动至右上角。 更进一步的,所述结合所述初始位置信息、所述移动轨迹、所述目标位置信息和所 述操作动作,确定对终端设备执行的目标操作可以包括: 根据所述初始位置信息、所述移动轨迹和所述目标位置信息计算得到所述各个指 尖移动的速度和方向; 结合所述各个指尖移动的速度和方向,以及所述操作动作,确定对终端设备执行 的目标操作。 还可以进一步考虑指尖移动的速度和方向,对于同一个指尖交互手势,不同的指 尖移动速度和方向,可以分别对应不同的操作。比如对某个终端设备,指尖交互手势A可以 被预设为返回桌面和进入多任务界面两种操作的对应手势,用户做出手势A并快速往上滑 动是返回桌面的操作,用户做出手势A并缓慢往上滑动则是进入多任务界面的操作。 进一步的,在确定对终端设备执行的目标操作之前,还可以包括: 获取所述终端设备当前的操作场景信息; 所述结合所述初始位置信息、所述移动轨迹、所述目标位置信息和所述操作动作, 确定对终端设备执行的目标操作可以包括: 结合所述操作场景信息、所述初始位置信息、所述移动轨迹、所述目标位置信息和 所述操作动作,触发对所述终端设备执行的一个以上的预设事件; 和/或 结合所述操作场景信息、所述初始位置信息、所述移动轨迹、所述目标位置信息和 所述操作动作,控制所述终端设备的显示界面中一个以上的目标对象进行移动; 和/或 结合所述操作场景信息、所述初始位置信息、所述移动轨迹、所述目标位置信息和 所述操作动作,调整所述终端设备的显示界面的视角。 触发的预设事件,可以包括但不限于电脑光标的点击操作,光标的辅助点击操作, 打开电子设备音量调节开关,打开某个应用软件等。移动的目标对象,可以是终端设备显示 界面的光标,也可以是终端设备已打开的某个游戏软件中的人物对象等。对于显示界面的 视角调整,可以包括但不限于绘图工具的模型视角调整,游戏人物的视角调整等。 进一步的,在查找预设的与所述指尖交互手势组合关联的操作动作之后,还可以 包括: 若所述操作动作为所述终端设备的显示界面中对于光标的点击操作,则统计所述 相互接触的二个以上的指尖单次接触的持续时间以及两次接触之间的间隔时间; 5 CN 111596757 A 说 明 书 3/18 页 根据所述持续时间和所述间隔时间,确定所述点击操作为单击操作、双击操作或 者长按操作。 更进一步的,所述根据所述持续时间和所述间隔时间,确定所述点击操作为单击 操作、双击操作或者长按操作可以包括: 若所述持续时间处于预设的第一时长内,则确定所述点击操作为单击操作; 若所述间隔时间处于预设的第二时长内,则确定所述点击操作为双击操作; 若所述持续时间超过预设的第三时长,则确定所述点击操作为长按操作。 通过统计相互接触的二个以上的指尖单次接触的持续时间以及两次接触之间的 间隔时间,来进一步区分点击操作的类型,从而可以实现更丰富、更实用的手势控制操作。 本申请实施例的第二方面提供了一种基于指尖交互的手势控制装置,包括: 手势检测模块,用于检测由用户的各个指尖交互形成的目标手势以及所述各个指 尖在手势检测空间中的位置信息; 操作确定模块,用于根据所述目标手势和所述位置信息,确定对终端设备执行的 目标操作。 本申请实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时 实现如本申请实施例的第一方面提供的基于指尖交互的手势控制方法的步骤。 本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储 介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请实施例的第一方面 提供的基于指尖交互的手势控制方法的步骤。 本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端 设备上运行时,使得终端设备执行本申请实施例的第一方面所述的基于指尖交互的手势控 制方法的步骤。 可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的 相关描述,在此不再赘述。 附图说明 下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲, 在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 图1是本申请实施例提供的一种基于指尖交互的手势控制方法的第一个实施例的 流程图; 图2是本申请实施例提供的一种基于指尖交互的手势控制方法的第二个实施例的 流程图; 图3是本申请实施例提供的一种基于指尖交互的手势控制方法的第三个实施例的 流程图; 图4是本申请实施例提供的基于指尖交互的手势控制方法所应用的终端系统包含 的功能模块的示意图; 图5是本申请实施例提供的基于指尖交互的手势控制方法所采用的一种指尖交互 手势的示意图; 6 CN 111596757 A 说 明 书 4/18 页 图6是采用本申请实施例提供的基于指尖交互的手势控制方法对电脑光标进行移 动的示意图; 图7是采用本申请实施例提供的基于指尖交互的手势控制方法对电脑光标进行点 击操作的示意图; 图8是采用本申请实施例提供的基于指尖交互的手势控制方法对电脑光标进行拖 拽操作的示意图; 图9是采用本申请实施例提供的基于指尖交互的手势控制方法对电脑光标进行辅 助点击操作的示意图; 图10是采用本申请实施例提供的基于指尖交互的手势控制方法对手机光标进行 移动的示意图; 图11是采用本申请实施例提供的基于指尖交互的手势控制方法对手机光标进行 点击操作的示意图; 图12是采用本申请实施例提供的基于指尖交互的手势控制方法对手机光标进行 双击操作的示意图; 图13是采用本申请实施例提供的基于指尖交互的手势控制方法对手机图片进行 拖动查看的示意图; 图14是采用本申请实施例提供的基于指尖交互的手势控制方法对手机光标进行 辅助点击操作的示意图; 图15是本申请实施例提供的基于指尖交互的手势控制方法应用于射击游戏操作 的示意图; 图16是本申请实施例提供的一种基于指尖交互的手势控制装置的一个实施例的 结构图; 图17是本申请实施例提供的一种终端设备的示意图。