架构与数据流程
了解哪些部分在 iPhone 上运行、哪些部分在线运行,以及请求如何变成设备操作。
Shortcuts AI 由两个部分协同工作。Agent 快捷指令在 Apple 设备上运行,Shortcuts AI 服务负责身份验证、模型推理、在线工具、设置、会话和账单。
AI 模型并不在快捷指令内部运行。Apple 快捷指令负责在设备端执行,Shortcuts AI 服务负责规划工作。
请求流程
- 你启动 Agent。 可以直接运行快捷指令,也可以通过共享表单等快捷指令入口传入支持的内容。
- 快捷指令准备上下文。 它会收集当前请求、支持的共享输入,以及会话所需的基本设备上下文。
- 服务创建会话。 服务验证设置密钥,加载你的模型、指令和已启用工具,然后开始推理循环。
- 模型选择下一步。 它可以回答、继续询问、使用已启用的在线工具,或请求一个支持的设备操作。
- Apple 快捷指令执行设备操作。 服务把结构化操作详情发回快捷指令。设备会根据快捷指令和相关 App 已获得的权限执行对应操作。
- 操作结果可以继续循环。 某些操作会返回选择、位置、文件或其他结果,让模型决定下一步。
- Agent 结束会话。 任务完成后,它会确认结果或停止运行。
通过这个循环,一个请求可以组合模型推理、在线信息和 App 操作,而不需要把整个 Agent 放进快捷指令内部。
各部分在哪里运行
| 请求组成 | 运行位置 | 用途 |
|---|---|---|
| 请求和共享上下文 | 设备,然后是 Shortcuts AI 服务 | 为当前会话提供内容和意图。 |
| 模型推理 | 在线 | 理解请求、规划步骤并选择已启用工具。 |
| 网页搜索和音频转录 | 在线 | 检索请求的信息,或把所选音频转换为文本。 |
| 备忘录、日历、提醒事项、信息和其他设备操作 | 设备上的 Apple 快捷指令 | 调用快捷指令支持的 App 或系统操作。 |
| 指令、模型选择和已启用工具 | Shortcuts AI 服务 | 在每次运行时应用保存到账户的设置。 |
| 会话用量和账单记录 | Shortcuts AI 服务 | 记录会话使用的模型和付费在线工具。 |
文件和音频
会话开始前,快捷指令会分别处理文本类输入、链接和文件。文本与链接可以直接成为请求上下文。所选文件会保留在设备上,直到 Agent 需要执行上传操作。
需要文件时,服务会提供上传位置,再由快捷指令发送所选文件。模型使用音频内容前,必须先上传并转录。文件、衍生上下文和转录数据的处理方式请查看隐私政策。
权限与控制
Shortcuts AI 不会自动读取各个 App 中的全部内容。它只会接收你提交的内容、快捷指令为当前请求发送的上下文,以及操作或工具返回的结果。
本地权限由 Apple 快捷指令和相关 App 管理。缺少权限、没有安装对应 App 或操作系统不支持时,设备操作可能失败或暂停。
你可以在设置中控制模型、长期指令和已启用工具。关闭某项工具后,Agent 在后续运行中将无法选择它。
架构常见问题
AI 模型是否在 iPhone 上运行?
不是。快捷指令会把请求与相关上下文发送到 Shortcuts AI 服务,由所选模型在线运行。
Shortcuts AI 是否能控制整部手机?
不能。Agent 只能请求快捷指令支持、并且已在设置中启用的操作。设备和 App 仍会执行各自的权限检查。
为什么请求有时会暂停?
Agent 可能需要缺失的细节、设备权限、你的确认、文件上传,或前一步操作的结果,之后才能继续。
如果希望先阅读更简单的说明,请查看 Agent 如何工作。遇到失败或权限问题时,请查看故障排查。