
技术摘要:
提供了安全处理环境中的数据传输。数字助理可以接收由计算设备的麦克风检测到的音频输入。数字助理可以基于音频输入,确定调用与计算设备相关联的第三方应用。数字助理可以响应于确定调用第三方应用来生成打包数据对象。数字助理可以将打包数据对象转发到由数字助理组 全部
背景技术:
计算设备可以启动应用以在计算设备上执行。由计算设备执行的应用可以执行一 个或多个功能。计算设备可以限制应用的各个方面。由于计算设备施加在应用上的限制,使 应用执行某些功能可能具有挑战性。
技术实现要素:
本公开总体上针对安全处理环境中的数据传输。计算设备可以建立安全处理环 境,诸如沙盒计算环境,该环境限制在安全处理环境中执行的应用的访问或功能。例如,可 以禁止或阻止在沙盒计算环境中执行的应用访问沙盒计算环境外部的内存地址。计算设备 可以在沙盒计算环境中执行第三方应用,以提高设备的安全性,并且防止潜在的恶意第三 方应用以不期望的方式操纵或修改计算设备。但是,在安全计算环境中执行的第三方应用 可能由于无法访问或检索安全处理环境外部的内存地址中存储的数据而不能执行某些功 能。因此,对在沙盒计算环境中执行的第三方应用执行其输入包括存储在沙盒计算环境外 部的内存地址中的数据的函数或过程可能具有挑战性或效率低下。 本解决方案的系统和方法提供了在安全处理环境中的数据传输。例如,数字助理 组件可以接收可以包括语音的音频输入。数字助理组件响应于音频输入来调用第三方应 用。数字助理组件可以进一步识别在导致调用第三方应用的音频输入之前检测到的在先音 频输入,然后使用在先音频输入、用于该在先音频输入的唯一标识符或在先音频输入的其 他指示生成打包数据对象。数字助理组件在调用第三方应用以在安全处理环境中执行时, 可以将在先音频输入的指示传递给第三方应用,使得第三方应用可以处理在先音频输入或 传送在先音频输入以执行功能。 至少一个方面针对一种在安全处理环境中传输数据的系统。该系统可以包括数据 处理系统。该数据处理系统可以包括一个或多个处理器和存储器。该系统可以包括至少部 分地由数据处理系统执行的数字助理组件。数字助理组件(或数据处理系统)可以接收由计 算设备的麦克风检测到的音频输入。数字助理组件(或数据处理系统)可以基于音频输入, 确定调用与计算设备相关联的第三方应用。数字助理组件(或数据处理系统)可以响应于确 定调用第三方应用,生成打包数据对象。该打包数据对象包括在接收到导致调用第三方应 用的所述音频输入之前由麦克风检测到的在先音频输入。数字助理组件可以将打包数据对 象转发给由数字助理组件调用以在计算设备上的安全处理环境中执行的第三方应用。第三 方应用可以响应于在第三方应用中触发的数字组件请求,将打包数据对象传送到数字组件 选择器,以基于打包数据对象来执行实时内容选择过程。 至少一个方面针对一种在安全处理环境中传输数据的方法。该方法可以包括数字 助理组件接收由计算设备的麦克风检测到的音频输入。数字助理组件可以至少部分地由包 括一个或多个处理器和存储器的数据处理系统执行。该方法可以包括数据处理系统基于音 频输入来确定调用与计算设备相关联的第三方应用。该方法可以包括数据处理系统响应于 确定调用第三方应用,生成打包数据对象。该打包数据对象可以包括在接收到导致调用第 10 CN 111557002 A 说 明 书 2/36 页 三方应用的音频输入之前由麦克风检测到的在先音频输入。该方法可以包括数据处理系统 将打包数据对象转发到由数字助理组件调用以在计算设备上的安全处理环境中执行的第 三方应用。第三方应用可以响应于在第三方应用中触发的数字组件请求,将打包数据对象 传送到数字组件选择器,以基于打包数据对象来执行实时数字组件选择过程。 至少一个方面针对一种在处理环境中传输数据的系统。该系统可以包括具有一个 或多个处理器和存储器的数据处理系统。该系统可以包括至少部分地由数据处理系统执行 的数字助理组件。数据处理系统可以接收由计算设备的麦克风检测到的音频输入。数据处 理系统可以基于音频输入,确定调用与计算设备相关联的第三方应用。数据处理系统可以 响应于确定调用第三方应用,生成与在接收到导致调用第三方应用的音频输入之前由麦克 风检测到的在先音频输入相对应的唯一标识符。数据处理系统可以将唯一标识符转发给由 数字助理组件调用以在计算设备上执行的第三方应用。第三方应用可以响应于在第三方应 用中触发的内容请求,将唯一标识符传送到数据处理系统。数据处理系统可以使用从第三 方应用接收的唯一标识符来识别在先音频输入。数据处理系统可以向数字组件选择器提供 在先音频输入,作为用于实时数字组件选择过程的输入。 至少一个方面针对一种在处理环境中传输数据的方法。该方法可以由至少部分地 由包括一个或多个处理器和存储器的数据处理系统执行的数字助理组件来执行。该方法可 以包括数字助理组件接收由计算设备的麦克风检测到的音频输入。该方法可以包括数据处 理系统基于音频输入来确定调用与计算设备相关联的第三方应用。该方法可以包括数据处 理系统响应于确定调用第三方应用,生成与在接收到导致调用第三方应用的音频输入之前 由麦克风检测到的在先音频输入相对应的唯一标识符。该方法可以包括数据处理系统将唯 一标识符转发给由数字助理组件调用以在计算设备上执行的第三方应用。第三方应用可以 响应于在第三方应用中触发的内容请求,将唯一标识符传送到数据处理系统。数据处理系 统可以使用从第三方应用接收的唯一标识符来识别在先音频输入。数据处理系统可以向数 字组件选择器提供在先音频输入,作为用于实时数字组件选择过程的输入。 至少一个方面针对一种在安全处理环境中传输数据的系统。该系统可以包括第三 方应用。第三方应用可以在由计算设备管理的安全处理环境中执行。该计算设备可以包括 一个或多个处理器和存储器。第三方应用可以包括与本地数字助理组件对接的应用编程接 口。本地数字组件可以经由通信通道与远程数字助理组件进行通信,以处理输入音频信号 来调用第三方应用。第三方应用可以从本地数字助理组件接收在接收到导致调用第三方应 用的音频输入之前由计算设备的麦克风检测到的在先音频输入的指示。第三方应用可以在 安全处理环境中存储在先音频输入的指示。第三方应用可以响应事件生成内容请求。响应 于该事件,第三方应用可以从安全处理环境中检索存储在安全处理环境中并经由应用编程 接口从本地数字助理接收到的在先音频输入的指示。第三方应用可以向数字组件选择器提 供内容请求和在先音频输入的指示。数字组件选择器可以基于内容请求和在先音频输入的 指示来执行实时内容选择过程。 至少一个方面针对一种在处理环境中传输数据的方法。该方法可以由第三方应用 执行。第三方应用可以在由计算设备管理的安全处理环境中执行。该计算设备可以包括一 个或多个处理器和存储器。第三方应用可以包括与本地数字助理组件对接的应用编程接 口。本地数字组件可以经由通信通道与远程数字助理组件进行通信,以处理输入音频信号 11 CN 111557002 A 说 明 书 3/36 页 来调用第三方应用。该方法可以包括第三方应用从本地数字助理组件接收在接收到导致调 用第三方应用的音频输入之前由计算设备的麦克风检测到的在先音频输入的指示。该方法 可以包括第三方应用在安全处理环境中存储在先音频输入的指示。该方法可以包括第三方 应用响应于事件而生成内容请求。该方法可以包括第三方应用响应于该事件,从安全处理 环境中检索存储在安全处理环境中并经由应用编程接口从本地数字助理接收的在先音频 输入的指示。该方法可以包括第三方应用向数字组件选择器提供内容请求和在先音频输入 的指示。数字组件选择器可以基于内容请求和在先音频输入的指示来执行实时内容选择过 程。 至少一个方面针对一种在安全处理环境中传输数据的系统。该系统可以包括具有 一个或多个处理器和存储器的计算设备。该系统可以包括在计算设备的至少一部分存储器 中,由一个或多个处理器管理的安全处理环境。该系统可以包括由计算设备的一个或多个 处理器执行的本地数字助理组件。本地数字助理组件可以经由通信信道与远程数字助理组 件进行通信。本地数字助理组件可以识别由计算设备的麦克风检测到的音频输入。本地数 字助理组件可以基于音频输入,调用计算设备上的第三方应用。本地数字助理组件可以响 应于调用第三方应用,获得在接收到导致调用第三方应用的音频输入之前由麦克风检测到 的在先音频输入的指示。本地数字助理组件可以将在先音频输入的指示转发到由本地数字 助理组件调用以在计算设备上的安全处理环境中执行的第三方应用。第三方应用可以响应 于在第三方应用中触发的内容请求,将在先音频输入的指示传送到数字组件选择器。内容 选择器可以基于在先音频输入的指示来执行实时数字组件选择过程。 至少一个方面针对一种在安全处理环境中传输数据的方法。该方法可以由包括一 个或多个处理器和存储器的计算设备执行。该方法可以包括计算设备在计算设备的存储器 的至少一部分中建立安全处理环境。该方法可以包括由计算设备执行的本地数字助理组件 识别由计算设备的麦克风检测到的音频输入。该方法可以包括本地数字助理组件基于音频 输入而调用计算设备上的第三方应用。该方法可以包括本地数字助理组件响应于调用第三 方应用,获得在接收到导致调用第三方应用的音频输入之前由麦克风检测到的在先音频输 入的指示。该方法可以包括本地数字助理组件将在先音频输入的指示转发到由本地数字助 理组件调用以在计算设备上的安全处理环境中执行的第三方应用。第三方应用可以响应于 在第三方应用中触发的内容请求,将在先音频输入的指示传送到数字组件选择器。数字组 件选择器可以基于在先音频输入的指示来执行实时内容选择过程。 至少一个方面针对一种方法,该方法包括在虚拟助理处接收来自用户的请求。该 方法可以包括由虚拟助理并与用户就该请求进行交互。该方法可以包括通过虚拟助理并基 于该交互,将用户发送到第一资源。该方法可以包括由虚拟助理生成表示导致该发送的、与 用户的交互的数据对象。该方法可以包括由虚拟助理将该数据对象转发到第一资源。 至少一个方面针对一种方法,该方法包括在虚拟助理处接收来自用户的请求。该 方法可以包括由虚拟助理并与用户就该请求进行交互。该方法可以包括通过虚拟助理并基 于该交互,将用户发送到第一资源。该方法可以包括由虚拟助理生成表示导致该发送的、与 用户的交互的数据对象。该方法可以包括由虚拟助理生成识别该交互的标识符。该方法可 以包括由虚拟助理将标识符转发到第一资源。该方法可以包括由虚拟助理将数据对象转发 到远离资源的服务器。 12 CN 111557002 A 说 明 书 4/36 页 至少一个方面针对一种计算机可读介质(其可以是非暂时性计算机可读介质,尽 管该方面不限于此),该计算机可读介质存储指令,该指令在由包括一个或多个处理器的处 理系统执行时,使得处理系统执行包括根据本文描述的任何方面或实施方式的方法的操 作。至少一个方面针对一种处理系统,该处理系统包括耦合到存储指令的存储器的一个或 多个处理器,该指令在由一个或多个处理器执行时,使该处理系统执行包括根据本文所述 的任何方面或实施方式的方法的操作。 在下文中,详细地讨论这些和其他方面以及实施方式。上述信息和下述详细描述 包括各个方面和实施方式的说明性示例,并且提供用于理解所要求保护的方面和实施方式 的性质和特征的概述或框架。附图提供对各个方面和实施方式的说明和进一步理解,并且 被并入本说明书中且构成本说明书的一部分。 附图说明 不旨在按比例绘制附图。在各个附图中,相同的附图标记和名称指示相同的元件。 为了清楚起见,并非在每个附图中都标记每个组件。 在附图中: 图1是根据示例的在安全处理环境中传输数据的系统的图示。 图2是根据示例的在安全处理环境中传输数据的系统的操作的图示。 图3是根据示例的在安全处理环境中传输数据的系统的操作的图示。 图4是根据示例的在安全处理环境中传输数据的方法的图示。 图5是根据示例的在安全处理环境中传输数据的方法的图示。 图6是根据示例的在安全处理环境中传输数据的方法的图示。 图7是根据示例的向信息资源提供状态信息的方法的图示。 图8是根据示例的在安全处理环境中传输数据的方法的图示。 图9是示出了计算机系统的总体架构的框图,该计算机系统可以被用来实现本文 所描述和示出的系统和方法,包括图1至图3中图示的系统以及图4至图8中图示的方法的元 素。