我们如何在多个产品中约束 Claude (opens in new tab)

📌 One-Sentence Summary Anthropic 分享了其在多个产品中约束 AI 智能体的工程方法，详细介绍了三种隔离模式以及在此过程中遇到的意外失败。 📝 Summary 这篇来自 Anthropic Engineering 的文章详细介绍了该公司在其三个主要产品（claude.ai、Claude Code 和 Claude Cowork）中约束 AI 智能体的演进策略。文章概述了三类风险（用户滥用、模型行为不当、外部攻击者）和三个防御组件（环境、模型、外部内容）。文章核心描述了三种不同的隔离模式：用于 claude.ai 的临时容器、用于 Claude Code 的人工参与沙箱，以及用于 Claude Cowork 的本地虚拟机。针对每种模式，作者分享了发布后发现的特定漏洞，包括预信任对话利用、用户作为注入向量攻击，以及通过已批准域名进行的数据窃取。文章最后展望了未来的担忧，包括持久性记忆投毒、多智能体信任升级和智能体身份，强调环境层的约束是最可靠的防御。 💡 Main Points 环境层的约束是 AI 智能体最可靠的防御。 与概率性的模型层防御不同，沙箱、...