技术摘要：
用于跟踪头戴式显示器(HMD)的位置的系统和方法。HMD可包括承载面向前相机和多个光学流量传感器集成电路(IC)的支承结构。前置相机以第一帧速率在前置相机视场(FOV)中捕获图像传感器数据，并且多个传感器IC中的每一个以第二帧速率在相应的多个传感器IC FOV中捕获图像传感  全部
背景技术：
当前一代的虚拟现实(“VR”)或增强现实(“AR”)体验使用头戴式显示器(“HMD”)创 建，头戴式显示器可连接至固定计算机(诸如个人计算机(“PC”)、膝上型计算机或游戏控制 台)、可与智能电话和/或其相关联的显示器组合和/或集成，或者可以是独立的。通常，HMD 是穿戴在用户的头部上的显示设备，该显示设备在一只眼睛(单目HMD)或每只眼睛(双目 HMD)的前面具有小的显示设备。显示单元通常是小型化的，并且可包括例如CRT、LCD、硅上 液晶(LCos)或OLED技术。双目HMD具有向每只眼睛显示不同图像的潜力。该功能用于显示立 体图像。 随着智能电话、高清电视以及其它电子设备的发展，对具有更高性能的显示器的 需求也在增加。虚拟现实系统和增强现实系统(特别是那些使用HMD的系统)的日益普及进 一步增加了这种需求。虚拟现实系统通常完全包围穿戴者的眼睛并用“虚拟”现实替代穿戴 者面前的实际或物理视图(或实际现实)，而增强现实系统通常在穿戴者的眼睛前面提供一 个或多个屏幕的半透明或透明覆盖，使得实际视图通过附加信息得到增强，并且介导现实 系统可类似地向观看者呈现信息，将现实世界元素与虚拟元素结合在一起。在许多虚拟现 实系统和增强现实系统中，可通过各种方式(诸如经由头戴式显示器中和/或在头戴式显示 器外部的传感器)来跟踪这种头戴式显示器的穿戴者的移动，以使得所示出的图像能够反 映用户的移动。 位置跟踪允许HMD估计其相对于其周围环境的位置。位置跟踪可利用硬件和软件 的组合来实现HMD的绝对位置的检测。位置跟踪是AR系统或VR系统的重要技术，它可以以六 个自由度(6DOF)去跟踪HMD(和/或控制器或其它外围设备)的移动。 位置跟踪技术可用于更改用户的视点，以反映不同的动作(例如跳跃或蹲伏)，并 可允许在虚拟环境中准确表示用户的手和其它对象。位置跟踪还可通过例如使用手位置通 过触摸来移动虚拟对象来增加物理环境与虚拟环境之间的连接。由于视差，位置跟踪差改 善了用户对虚拟环境的3D感知，从而有助于距离的感知。另外，位置跟踪可帮助最大程度地 减少因眼睛观察到的输入与用户的耳朵前庭系统感觉到的输入之间的断开而导致的晕动 症。 有不同的位置跟踪方法。这样的方法可包括声学跟踪、惯性跟踪、磁跟踪、光学跟 踪、它们的组合等。
技术实现要素：
头戴式显示器可概括为包括：支承结构，可穿戴在用户的头部上；相机，由支承结 构承载，在操作中，相机以第一帧速率在相机视场中捕获图像传感器数据；多个光学流量传 感器集成电路(IC)，由支承结构承载，在操作中，多个光学流量传感器IC中的每一个以第二 5 CN 111602082 A 说　明　书 2/9 页 帧速率在相应的多个传感器IC视场中捕获图像传感器数据，传感器IC视场比相机视场窄， 以及第二帧速率大于第一帧速率；至少一个非暂时性处理器可读存储介质，存储处理器可 执行指令或数据中的至少一个；以及至少一个处理器，操作地联接至相机、多个光学流量传 感器IC和至少一个非暂时性处理器可读存储介质，在操作中，至少一个处理器：从相机和多 个光学流量传感器IC接收图像传感器数据；处理所接收的图像传感器数据；以及至少部分 地基于对所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。至少一个处理器可 融合来自相机和多个光学流量传感器IC的图像传感器数据以跟踪头戴式显示器的位置。 头戴式显示器还可包括：惯性测量单元(IMU)传感器，操作地联接至至少一个处理 器，其中，在操作中，至少一个处理器：从IMU传感器接收IMU传感器数据；处理IMU传感器数 据以及从相机和多个光学流量传感器IC所接收的图像传感器数据；以及至少部分地基于对 所接收的IMU传感器数据和所接收的图像传感器数据的处理，跟踪头戴式显示器的位置。多 个光学流量传感器IC中的每一个可包括单个裸片，裸片上具有图像感测电路和图像处理电 路。第一帧速率可小于或等于每秒100帧，以及第二帧速率可大于或等于每秒1000帧。至少 一个处理器可处理所接收的图像传感器数据，以检测在头戴式显示器操作的环境中存在的 一个或多个特征。传感器IC视场中的每个视场可与相机视场的一部分重叠。至少一个处理 器可将传感器IC视场与相机视场配准。相机视场可大于100度。 头戴式显示器还可包括第一显示子系统和第二显示子系统，第一显示子系统和第 二显示子系统各自为用户的一只眼睛提供显示，其中，在操作中，至少一个处理器经由第一 显示子系统和第二显示子系统选择性地呈现从相机获得的图像。 操作头戴式显示器的方法，头戴式显示器包括可穿戴在用户的头部上的支承结 构，由支承结构承载的相机以及由支承结构承载的多个光学流量传感器集成电路(IC)，该 方法可概括为包括：经由相机以第一帧速率在相机视场中捕获图像传感器数据；经由多个 光学流量传感器IC以第二帧速率在相应的多个传感器IC视场中捕获图像传感器数据，传感 器IC视场比相机视场窄，以及第二帧速率大于第一帧速率；通过至少一个处理器从相机和 多个光学流量传感器IC接收图像传感器数据；通过至少一个处理器处理所接收的图像传感 器数据；以及通过至少一个处理器至少部分地基于对所接收的图像传感器数据的处理，跟 踪头戴式显示器的位置。处理所接收的图像传感器数据可包括融合来自相机和多个光学流 量传感器IC的图像传感器数据以跟踪头戴式显示器的位置。 头戴式显示器可包括操作地联接至至少一个处理器的惯性测量单元(IMU)传感 器，以及还可包括：通过至少一个处理器从IMU传感器接收IMU传感器数据；通过至少一个处 理器处理IMU传感器数据以及从相机和多个光学流量传感器IC接收的图像传感器数据；以 及通过至少一个处理器至少部分地基于对所接收的IMU传感器数据和所接收的图像传感器 数据的处理，跟踪头戴式显示器的位置。 经由多个光学流量传感器IC捕获图像传感器数据可包括经由多个光学流量传感 器IC捕获图像传感器数据，每个光学流量传感器IC包括其上具有图像感测电路和图像处理 电路单个裸片。以第一帧速率在相机视场中捕获图像传感器数据可包括以小于或等于每秒 100帧的第一帧速率在相机视场中捕获图像传感器数据，以及以第二帧速率在传感器IC视 场中捕获图像传感器数据可包括以大于或等于每秒1000帧的第二帧率在传感器IC视场中 捕获图像传感器数据。处理所接收的图像传感器数据可包括处理所接收的图像传感器数据 6 CN 111602082 A 说　明　书 3/9 页 以检测在头戴式显示器操作的环境中存在的一个或多个特征。传感器IC视场中的每个视场 可与相机视场的一部分重叠。处理所接收的图像传感器数据可包括将传感器IC视场与相机 视场配准。相机视场可大于100度。 头戴式显示器还可包括第一显示子系统和第二显示子系统，第一显示子系统和第 二显示子系统各自为用户的一只眼睛提供显示，以及该方法还可包括经由第一显示子系统 和第二显示子系统选择性地呈现从相机获得的图像。 附图说明 在附图中，相同的附图标记表示相似的元件或动作。附图中元件的尺寸和相对位 置不一定按比例绘制。例如，各种元件的形状和角度不一定按比例绘制，并且这些元件中的 一些可任意地放大和定位以提高附图易读性。此外，所绘制的元件的特定形状不一定旨在 传达关于特定元件的实际形状的任何信息，并且可能仅仅是为了便于在附图中识别而选择 的。 图1示出了根据本公开的示例实施方式的包括双目显示子系统、前置相机和多个 传感器集成电路的头戴式显示系统的俯视图。 图2是根据本公开的示例实施方式的包括双目显示子系统、前置相机和多个传感 器集成电路的头戴式显示系统的主视图。 图3是根据本公开的示例实施方式的图2中所示的头戴式显示系统的俯视图。 图4是根据本公开的示例实施方式的头戴式显示系统的示意性框图。 图5是根据本公开的示例实施方式的用于操作头戴式显示系统的位置跟踪系统以 在使用期间跟踪头戴式显示系统的位置、方向和/或移动的方法的流程图。