WWDC 2026 上的 Siri AI
Siri AI at WWDC 2026
苹果在WWDC上宣布了新版Siri AI功能，授权定制Gemini衍生模型运行于Private Cloud Compute，并利用视觉LLM（Vision LLM）从用户屏幕提取信息，避免各应用单独集成。新Core AI库集成Meta开源PyTorch生态系统，通过coreai-torch包将PyTorch模型转换为可在苹果硬件运行的AIProgram。iOS 27开发者测试版已发布，新Siri AI需通过等待列表获取访问权限。Private Cloud Compute Gemini模型运行于Google Cloud，使用NVIDIA GPU，采用与Apple silicon相同的安全模式，所有二进制文件公开发布供检查。
鉴于任何在2024年WWDC上对苹果智能（Apple Intelligence）公告信以为真的人都吃了大亏，我对他们今天宣布的所有内容都坚持"眼见为实"的严格原则。新的Siri AI功能至少从当前技术来看是可行的，尤其是苹果正在授权一个定制的Gemini衍生模型，该模型可以在他们自己的Private Cloud Compute上运行。听起来他们将利用视觉LLM（Vision LLM）从用户屏幕提取信息，这巧妙地避免了每个现有应用都需要编写自定义代码来集成苹果智能。视觉LLM在2024年6月还是一个远未成熟的类别。新的Core AI库看起来是让开发者最终能够充分利用苹果硬件运行自己模型的重要一步。它与Meta的开源PyTorch生态系统集成，使用了这些Core AI PyTorch扩展：Core AI PyTorch Extensions（coreai-torch）是一个连接PyTorch和Core AI的Python包。你可以用它将一个现有的PyTorch模型——导出为torch.export.ExportedProgram——转换为可在苹果硬件上运行的Core AI AIProgram，逐节点遍历FX图并将ATen算子映射到Core AI操作。今天就可以安装iOS 27开发者测试版，据说其中包含新功能——但你需要通过等待列表才能获得新Siri AI的访问权限。来自MacRumors的Aaron Perris报告称他已从等待列表中获批，因此我们可能很快就能看到关于Siri AI实际表现的可信报告。更新：这些Private Cloud Compute Gemini模型运行在Google Cloud上，并使用NVIDIA硬件。根据苹果安全研究博客上《扩展Private Cloud Compute》一文：对于最苛刻的任务，包括代理工具使用和复杂推理，我们与Google和NVIDIA合作，将我们的PCC基础设施扩展到使用NVIDIA GPU的Google Cloud系统，同时保持苹果强大的安全和隐私保护。[...] Google Cloud上的PCC采用了与Apple silicon上PCC相同的许多架构安全模式来实现这些分层保护：每个请求的初始网络数据解析在其自己的命名空间内的专用进程中进行，共享推理软件以短生存期回收，认证密钥保存在一个独立、专用的机密虚拟机中，与外部输入隔离。[...] 与Apple silicon上的PCC一样，所有二进制文件都将公开发布以供检查。标签：vision-llms, apple, generative-ai, ai, llms, gemini, nvidia, google