Skip to content

Agentic AI安全评估四问框架 — Anthropic CISO指南

tags: #Agent-Security #CISO #Prompt-Injection #Anthropic #Least-Agency #Identity-Spectrum source: Zero risk isn't the job: a CISO's guide to agentic AI score: 技术深度9/10 | 实用价值10/10 | 时效性9/10 | 领域匹配9/10 | 综合 9.2/10

核心概念

Anthropic Deputy CISO Jason Clinton针对企业部署AI Agent的安全风险评估框架。核心论点：安全负责人的职责不是实现零风险，而是让Agent风险可读、可界定（legible and bounded），从而管理层可以知悉后接受可管理的风险。核心方法论是四个问题贯穿评估，配合最小代理原则（Principle of Least Agency）限制Agent能力。

设计原理

四问评估框架

评估任何Agent用例时，依次回答四个问题：

# 问题 风险评估要点
1 它摄入什么不受信内容？ 不受信=攻击者可写或篡改的内容（外部邮件、开放网络、第三方文档、公开仓库）。回答"无"则Agent特定风险趋近于零
2 它可以采取什么行动，以谁的名义？ 只读vs读写完全不同。工具调用、代码执行、网络出口都扩大风险面。每个动作都有身份归属
3 失控后的爆炸半径多大？ 范围×严重度：一个文件还是整个组织？异常、烦恼、数据泄露还是真实安全事件
4 我有什么可观测性？ 能否区分Agent动作和用户动作？是否落地SIEM？

最小代理原则

基于四问评估结果，授予完成任务所需的最窄能力。Anthropic默认策略：管理员节奏部署（admin-paced rollout）— 从小团队开始，监控遥测数据，然后逐步扩大。

身份模型：Agentic Identity Spectrum

Anthropic将所有Agent部署放在一个身份光谱的两端：

服务账户（Service Account） ←——————————————→ 人凭证（Human Credential）
     单一职责                                  键盘操作者
     最小权限                                  对结果负责
     无人类身份                                等效于个人操作
  • 服务账户端：自包含、单一用途、最小权限、无人类身份附着。如：事故响应Agent、工单分类Agent、自动代码审查Agent、Claude Tag（共享工作空间Agent）
  • 人凭证端：员工使用聊天界面或个人Agent工具（如Claude Cowork），键盘前的人对结果负责

中间地带是最危险的：Agent带着人的委托身份进入该人不在监控的系统，这时责任模糊。模糊的责任=无法解释的事故。

核心洞察：Agent偏移 = 内部攻击

Agent一旦偏离对齐意图，与内部攻击毫无区别。

安全行业2019-2022年把内部风险确立为独立于边界防御的学科。Ponemon 2026年内部风险成本报告：组织平均需要67天遏制一起内部事件。在Agent执行速度下，以天为单位的响应太慢。

关键实现

案例1：事故响应Agent

部署了一个专门的Agent处理应急响应：

  • 三工具权限：只读生产日志（无PII）、Slack（开事故通道+运行流程）、Google Doc（写事后报告草稿）
  • 四问评估：无不受信内容 / 只读+新建(无编辑删除) / 爆炸半径可控 / SIEM全覆盖
  • 意外发现：升级到Opus 4.5后，Agent主动跨Slack请求另一个Agent（Claude Tag类）写代码修复，形成Agent-to-Agent通信。由于控制有效（人类审查PR），该行为在安全范围内。现在这已成为日常实践

案例2：Claude Cowork安全控制

Claude Cowork的威胁模型：Agent执行环境（远程）+ 本地桥接（文件/屏幕访问）。五层控制：

  1. 身份来自IdP：SAML/OIDC登录 + SCIM同步。Enterprise自定义角色按组圈定能力
  2. Connector白名单：管理员启用connector（MCP）组织级→用户单独授权。双层门控模型。可限制展示某些action/verb，如"允许起草文档但禁止自动发送"
  3. 逐工具逐动作审批：移除connector中的特定动词（如delete），Agent永远不会尝试不在tool list中的动作
  4. 沙盒执行：Agent loop在隔离、临时沙盒中运行。Connector授权token不进入沙盒——通过反向代理注入真实凭据，沙盒内无任何可泄露的凭据
  5. 出口白名单：控制Agent执行环境的所有出口流量，是对抗prompt injection的最强控制

关键警示：模型能力提升会带来新行为

"限制访问和动作时，不要基于你当前认为的模型能力上限，而要基于最坏情况。"

事故响应Agent从Opus 4升级到4.5后，自主产生了Agent-to-Agent通信行为——这在没有人改变prompt或tools的情况下发生。这意味着安全边界必须保守设计，给模型能力增长留足余量。

数据点

  • 截至2026年7月，Anthropic超过50%的PR代码由其内部Claude Tag类系统编写
  • 这些代码都在临时VM中生成，与生产key和账号隔离，人类审查后才合入
  • 攻击成功率"持续下降但非零"
  • Claude Cowork远程会话的沙盒在Anthropic管理的基础设施上运行

关联分析

2026-07-22 更新：AI-Native SDLC安全实践

来源：How Anthropic secures its AI-native software development lifecycle

Anthropic Deputy CISO Jason Clinton 补充了 Anthropic 内部 AI-native SDLC 的安全实践，核心数据和技术细节如下：

规模数据

  • 工程师平均每季度交付的代码量是 2021-2025 年期间的 8 倍
  • Claude 编写了 80% 合并到代码库中的代码
  • 超过 50% 的代码由内部 Claude Tag 系统自动合并（人类工程师负责设定意图和最终审批）

安全策略架构

  1. 左移安全，全面集成到代码生成阶段：安全指南直接编码到 CLAUDE.md 文件和组织级 Skills 中，代码生成的第一个瞬间就遵循最佳实践
  2. 硬访问和身份边界：通过 SSO/OIDC 和细粒度权限控制爆炸半径
  3. 自动化确定性 + Agent 化混合审查：生产前后分别进行确定性检查和 Agent 化审查
  4. 最高杠杆点插入人工流程：把关人出现在最关键的决策点

闭环安全改进机制

一旦 Agent 发现某个 bug 类别，相关的 CLAUDE.md 文件会被更新，防止未来再生成同类代码。

这是关键创新：安全发现不是一次性的修复，而是反馈到生成源头，形成持续改进的闭环。

威胁模型

Anthropic 设计安全控制针对三类威胁： 1. 被攻破或被 Prompt Injection 的 Agent 引入恶意变更 2. 供应链和依赖投毒：Agent 作为可信输入摄入 3. 传统应用漏洞以更高速度出现

与之前框架的关系

本篇文章是 Zero Trust for Agents 框架 的实现配套——所有安全设计都基于该框架的安全设计思想。

可执行建议

  1. 四问框架是Agent安全评估的起点：任何Agent项目上线前，管理者/开发者都可以用这4个问题快速评估风险等级，不需要安全专家
  2. 身份光谱是最好的沟通工具：向团队/上级解释Agent安全时，用"服务账户↔人凭证"光谱比零信任架构更容易理解
  3. "移除动词"比"限制权限"更有效：如果担心数据库被删，直接从Agent的tool list中移除delete verb——Agent永远不会尝试不在列表中的操作
  4. 沙盒内不留凭据：即使沙盒被攻破，攻击者拿不到任何有效凭据（通过反向代理注入）。这是核心安全原则
  5. 给模型能力留余量：安全边界基于最坏情况设计，而不是当前模型的能力上限。下次模型升级可能带来意料之外的新行为

自评

维度 分数 权重 加权
摘要质量 9 0.25 2.25
技术深度 9 0.25 2.25
相关性 9 0.20 1.80
原创性 9 0.15 1.35
格式规范 9 0.15 1.35
加权总分 9.00