logo好方法网

用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置


技术摘要:
一种头戴式装置通过以下方式来辅助主体获取关于周围环境的空间信息:分别从眼睛追踪器接收注视数据以及从距离传感器接收空间数据。注视数据描述主体的所估计的关注点,并且空间数据描述参考点与周围环境中的对象之间的距离。提供反馈信号,其指示从主体到周围环境中的  全部
背景技术:
眼睛/注视追踪是测量眼睛相对于头部的运动和/或位置或测量注视点的过程。眼 睛追踪器是用于测量眼睛位置和眼睛移动的装置。眼睛追踪器用于许多不同应用中。存在 用于测量眼睛移动的各种方法。最流行的变化形式使用视频图像,其中眼睛位置是从所述 视频图像提取。其它方法使用搜索线圈或基于眼动图。最初,眼睛追踪技术用于对视觉系统 的研究中,用于心理学中,用于心理语言学中,用于市场营销中以及用于产品设计中。如今, 我们看到眼睛追踪器作为输入装置日益广泛在各种装置和设备(从智能电话到飞机)中用 于人机互动。许多时候,眼睛追踪器对于说话的能力降低和/或不能够经由常规接口而输入 计算机命令的人来说是有效互动方式。 US  9,185,352描述了一类系统和方法,这类系统和方法涉及用户从移动位置使用 眼睛装置而将输入提供到计算装置。此处,为用户安装实景相机以使得系统收集与用户正 看着的位置相关的图像信息。在计算装置的监视器上或其它视域上提供指示,以表示监视 器或视域的识别区域的存在和位置。为用户安装的眼睛相机收集与眼睛的注视方向相关的 用户眼睛的图像信息。当用户的被追踪的眼睛的注视方向与监视器或视域的识别区域相交 时,用于控制计算装置的适当眼睛追踪方法可用于将指令发送到计算装置。 US  2015/0049012示出将反馈提供给具有光学透视头戴式显示器(HMD)的增强现 实(AR)装置的用户的方法、设备和计算机程序产品。设备获得HMD上对应于用户与HMD上所 显示的对象互动的位置。对象可以是HMD上的图标,并且用户互动可以是用户通过眼睛注视 或示意动作而选择图标的尝试。设备确定用户互动的位置与对象之间的空间关系是否满足 标准,并且在标准得以满足时,输出感官指示,例如,视觉显示、声音、振动。设备可被配置成 在用户互动成功(例如,图标被选择)时输出感官指示。或者,设备可被配置成在用户互动失 败时输出感官指示。 因此,存在不同技术解决方案,它们识别用户的关注点,并且按视觉显示、声音和 振动的形式提供关于用户与设备的互动的反馈。
技术实现要素:
然而,尚不存在辅助用户的视觉感官获得关于用户周围的整体环境的增强的空间 认知的有效方式。 因此,本发明的一个目标是提供使主体能够通过以下方式而获取关于周围环境的 空间信息的解决方案:使用主体自身的眼睛活动以获得比主体的眼睛自身可提供的细节多 5 CN 111586395 A 说 明 书 2/6 页 的细节。 根据本发明的一个方面,此目标由一种在处理电路中执行的方法实现,所述方法 涉及接收描述关于主体的所估计的关注点的注视数据。所述方法涉及:接收描述参考点与 周围环境中的对象之间的距离的空间数据;以及生成向主体提供的反馈信号,其中所述反 馈信号是基于所估计的关注点和空间数据而生成的。反馈信号指示从主体到周围环境中的 对象的距离。 此方法是有利的,这是因为所述方法能够放大各种视觉刺激和/或将视觉刺激替 换为一个或更多个其它感官刺激(例如,与听觉和/或触觉相关的感官刺激)。随后,具有任 何程度的视力(即,从全盲到视力完全正常)的人可按强健且可靠的方式获得关于其所在环 境的增强的空间信息。 根据本发明的此方面的一个实施例,反馈信号还指示对象相对于主体的移动。例 如,可按第一方式指示正接近的对象,同时可按第二方式指示固定对象。当然,可按第三方 式指示正远离的对象。因此,用户可识别并避免其所在环境中的可能有害的对象。 反馈信号优选被配置成导致至少一个第一感官刺激按听觉信号、触觉信号和/或 视觉信号的形式施加到主体。因此,主体可除了其自身的视觉印象之外或作为其自身的视 觉印象的补充而经由声音提示和/或触觉致动器(例如,腕带)“关注”其周围环境。 根据本发明的此方面的另一实施例,至少一个第一感官刺激的强度反映到对象的 第一表面元素的距离,该第一表面元素与主体的眼基线和所估计的关注点之间的直线横 交。这里,第一表面元素沿着所述直线的位置比周围环境中的对象的任何其它表面元素更 接近眼基线。优选地,对于相当短的距离,反馈信号的强度相对高,且反之亦然。这意味所估 计的关注点“看到”位置最接近主体的对象。换句话说,按自然且直观的方式模仿正常视觉。 根据本发明的此方面的其它实施例,参考点或位于眼基线上或位于由主体戴着的 头戴式装置的几何中心处。前者容易实施。在后一状况下,假设头戴式装置包含生成注视数 据的眼睛追踪器。几何中心表示在安装在主体上时头戴式装置围绕其旋转的所估计的点。 这转而提供良好且一致的用户体验。 根据本发明的此方面的又一实施例,除了距离信息之外或作为对距离信息的替 代,空间数据描述从周围环境中的至少一个对象反映的颜色和光强度信息。所述方法涉及 从空间数据获得所述至少一个对象中的至少一个的至少一个视觉质量;以及生成反馈信号 以使得其反映所述至少一个视觉质量。因此,例如,至少一个视觉质量可表示描述对象的颜 色、表面纹理和/或对象类别。反馈信号可被配置成导致至少一个第二感官刺激被施加到主 体,所述至少一个第二感官刺激反映颜色、表面纹理和/或对象类别,并且不同于至少一个 第一刺激。因此,例如,与指示距离的触觉反馈同时地,主体可听到说出“绿皮书”的音频信 号。当然,对于视力受损的人来说,这是极其有用的信息。 根据本发明的此方面的又一实施例,生成反馈信号涉及以确认特定对象处的所估 计的关注点在周围环境中的位置的眼睛提示的形式向主体呈现视觉信号。眼睛提示由至少 一个图形元素表示,所述至少一个图形元素在一定位置处被示出在主体的视域中,以使得 至少一个图形元素叠加在所估计的关注点上。因此,正在看的人即使具有极差的视力也可 被有效导引遍历整个场景。 作为附加或替代,所述方法可涉及向主体呈现听觉信号,所述听觉信号提供确认 6 CN 111586395 A 说 明 书 3/6 页 特定对象处的所估计的关注点在周围环境中的位置的声音提示。这里,声音提示经由三维 位置音频效果而模拟位于所估计的关注点处的声源。因此,主体将“听到”其正看着的对象。 对于盲人或视力严重受损的人来说,当他/她自己朝向一定区域时,这给予了极好的导引。 根据本发明的又一方面,所述目标由一种计算机程序实现,所述计算机程序含有 在处理电路中执行时导致处理电路执行上述方法的指令。 根据本发明的另一方面,所述目标由一种非易失性数据载体实现,所述数据载体 含有此计算机程序。 根据本发明的再一方面,上述目标由一种处理电路实现,所述处理电路被配置成 包含在头戴式装置中以用于辅助主体获取关于周围环境的空间信息。所述处理电路含有第 一和第二输入接口以及输出接口。 第一输入接口被配置成从眼睛追踪器接收注视数据,所述注视数据描述主体的所 估计的关注点。第二输入接口被配置成接收描述参考点与周围环境中的对象之间的距离的 空间数据。输出接口被配置成提供指示从主体到周围环境中的对象的距离的反馈信号。反 馈信号是基于所估计的关注点和空间数据而生成的。此处理电路及其优选实施例的优点从 上文关于上述方法的论述中变得显而易见。 根据本发明的又一方面,上述方面由一种头戴式装置实现,所述头戴式装置含有 所提出的处理电路、眼睛追踪器、距离传感器和至少一个反馈单元。眼睛追踪器被配置成生 成注视数据,该注视数据描述戴着头戴式装置的主体的所估计的关注点。距离传感器(例 如,包含3D相机)被配置成生成描述参考点与周围环境中的对象之间的距离的空间数据。至 少一个反馈单元被配置成向主体呈现反馈信号,所述反馈信号是基于所估计的关注点和空 间数据而生成的。反馈信号指示从主体到周围环境中的对象的距离。此头戴式装置及其优 选实施例的优点从上文关于上述方法的论述中变得显而易见。 本发明的其它优点、有利特征和应用将从
分享到:
收藏