TL;DR
智能可以不断提升，但权力始终需要边界。这不只是工程原则，也可能是未来人机协作制度的基本原则。
- 智能、目标与权力是三件事。 一个忠实执行指令的财务 Agent，不应该因此获得查看所有员工信息、修改银行账户和无限额转账的权力。
- 正确的目标不代表无限的权限。 Alignment 研究回答「机器为什么会按我们的意图行动」；可验证的执行控制回答「即使它没有按我们的意图行动，系统如何限制损失」。两者不能互相替代。
- 自然语言授权有根本局限。 「不要进行高风险操作」对人足够，对需要自动执行交易的软件远远不够 —— 什么是高风险？单笔超过净值 5%？单日回撤超过 2%？
- 真正的威胁不是 AI 犯错，而是错误直接转化为行动。 聊天机器人被提示注入只是答错；连着支付和交易系统的 Agent 被注入，就是真实损失。
- 任务完成率不足以衡量可信度。 一个完成 99% 任务、但剩下 1% 可能执行未授权转账的 Agent，未必适合部署。需要的是越权执行率、权限越界率、审批完整性、撤销有效性、审计可重建性和误拒率。
一、智能、目标与权力是三个不同的概念
Eliezer Yudkowsky 在 AI 安全研究中的一个重要贡献，是强调智能能力与最终目标之间不存在必然一致性。一个系统可能具备极强的规划能力，却在优化一个设计者没有充分理解的目标。
例如，要求一个 Agent 最大化电商平台销售额。如果没有其他约束，系统可能倾向于过度促销、误导性营销或损害长期品牌信誉的手段。 这不一定意味着它有恶意 —— 问题在于它正在优化一个不完整的目标。
现代机器学习中常见的代理指标问题与此同构：系统被配置为优化某个可测量的指标，但这个指标并不完全等于人类真正关心的结果。
然而，即使我们成功解决了目标设定问题，也没有解决全部风险。因为正确的目标，不代表执行系统应该拥有无限权限。
一个忠实执行指令的财务 Agent，也不应该因此获得查看所有员工个人信息、修改公司银行账户和无限额转账的权力。
智能能力、目标一致性和行动权限，必须在架构上分开处理。
二、从 Alignment 到可验证的执行控制
传统 Alignment 研究关注如何使 AI 的行为与人类意图、价值和安全约束一致。这是必要的方向，但不能把它当成所有安全问题的最终答案。
现实软件系统长期遵循一个基本原则：不能因为应用程序通常运行正常，就取消权限控制、事务校验和审计机制。
- 银行不会因为员工经过培训，就允许所有员工直接修改账户余额
- 交易所不会因为某个策略长期盈利，就允许它绕过风控
- 操作系统不会因为程序由可信开发者编写，就默认给它全部系统资源
AI Agent 同样需要这些边界。
可以把一个自主执行系统拆成三个相互独立的部分：
| 层 | 职责 |
|---|---|
| 认知层 | 理解目标、分析环境、提出行动方案 |
| 授权层 | 确定能访问什么资源、执行什么操作、权限何时失效 |
| 执行层 | 验证授权条件，把符合约束的行动提交到真实系统 |
这三部分可以协作，但不应该被混合成一个不可审计的语言模型提示词。
例如一个金融 Agent 可以提出购买某资产的订单，但是否允许交易，应由独立的策略与执行系统检查：资金余额、交易权限、资产白名单、头寸限制、风险阈值。
模型可以负责生成建议，但不应该由同一个模型用自然语言声明自己已经满足了全部风控条件。
这种设计不能消除市场风险或所有软件故障，但能减少一类关键风险：模型输出直接越过独立的权限与策略边界。
三、自然语言授权的根本局限
假设用户告诉 Agent：
「帮我管理这个投资账户，但不要进行高风险操作。」
这句话对人类交流可能足够，但对需要自动执行交易的软件而言，留下了大量未定义的问题：
- 什么是高风险？单笔超过账户净值的 5%，还是单日最大回撤超过 2%？
- 购买流动性不足的资产算不算高风险？
- 市场快速下跌时，Agent 可以自行改变原有配置吗？
- 如果用户的文字指令与账户预设策略冲突，以哪个为准？
自然语言能够表达意图，却不天然具有可验证的执行语义。
所以高风险 Agent 需要把抽象意图转换成明确约束：授权范围限定到某一账户、某一资产集合、某种操作类型、某个有效期限。每次实际执行前，都必须重新检查当前权限、账户状态和策略约束。涉及关键资金操作时，还可以要求多重确认或多签审批。
更重要的是，授权必须能够被撤销。 一个 Agent 即使曾经获得合法权限，也不代表它应该永久拥有这些权限。
四、真正的威胁不是 AI 犯错，而是错误直接转化为行动
当 Agent 读取网页、邮件、仓库文档或外部数据时，它会接触大量不可信信息。这些信息可能包含恶意指令，试图诱导它偏离原有目标。
这就是提示注入在自主 Agent 场景中尤其危险的原因：
传统聊天机器人的一次指令混淆，可能只是导致错误回答。但一个连接支付、账户管理、生产服务器或金融交易系统的 Agent，如果把外部文本错误地当成高优先级命令，就可能产生实际损失。
这类研究的重要价值，不只是证明模型可能被欺骗，而是提醒我们必须把模型本身视为潜在的不可信决策组件。
因此 Agent 安全不能完全依赖更长的系统提示词，需要把外部输入隔离、工具权限约束、执行前校验和操作审计结合起来。
人工审核也不是万能的。 如果审批界面只显示 Agent 对操作的自然语言总结，而实际执行参数已经发生变化，那么人类批准的是一件事，系统执行的却是另一件事。
有效的审批必须绑定明确的行动对象、操作参数、账户身份和有效期限 —— 只有这样，审批才具有真正的技术含义。
五、怎么衡量一个 Agent 是否值得信任
今天许多 Agent Benchmark 主要衡量任务完成率：能否成功预订机票、编写代码、查询资料、完成浏览器操作。
这些指标当然重要，但任务完成率不足以衡量高风险场景中的可信性。
一个 Agent 如果能完成 99% 的任务，但在剩余 1% 的情况下可能执行未经授权的资金转账，那么它未必适合部署。
需要另一组指标：
| 指标 | 衡量什么 |
|---|---|
| 未经授权执行率 | 在明确禁止的测试条件下，是否仍然发生实际执行？ |
| 权限越界率 | 是否访问或修改了授权范围之外的资源？ |
| 审批完整性 | 每项高风险操作是否有与实际执行参数对应的有效审批？ |
| 撤销有效性 | 权限取消后，能否阻止尚未提交的操作？ |
| 审计可重建性 | 事故后能否从记录还原关键输入、决策、审批和执行？ |
| 错误拒绝率 | 合法请求是否被过度严格的控制机制阻止？ |
这些指标共同描述一个系统的安全与可用性，而不仅仅是模型的智能水平。
两个必须说清楚的边界：
第一，对已经执行过的不可逆交易，权限撤销不能神奇地回滚结果。 系统需要区分执行前阻断、执行中取消与执行后补救 —— 这是三种不同的能力。
第二，Benchmark 中观察到零次越权，不等于现实世界的越权概率为零。 测试覆盖率、攻击场景分布和形式化验证的程度，决定了我们能作出多强的安全声明。
六、AI Agent 将迫使我们重新定义责任
在传统组织中，责任通常依附于人：员工依据职务获得权限，管理者依据职位承担决策责任，企业依据合同和法律承担义务。
但 Agent 的出现让责任链条变复杂了。
如果一个 AI 自行完成市场分析、生成交易计划、提交订单，并导致用户损失，责任该由谁承担？模型提供商、Agent 开发者、部署平台、策略配置者与用户之间，可能存在不同程度的责任。
这个问题不能简单用「AI 是工具」或「AI 应该自主负责」来回答。
至少在当前的产品和法律框架下，更可操作的方向是明确人类与组织的责任主体，让 Agent 的每项权限都有可以追溯的授权来源。
换言之，系统应该能回答：
- 谁授权了这个 Agent？
- 授权目的是什么？
- 它实际执行了什么？
- 哪些独立控制允许了这次执行？
- 发生错误后，谁有义务暂停系统、修正策略并承担责任？
这些不仅是伦理问题，也是产品架构与制度设计问题。
七、结语：自主性应当建立在可撤销、可审计的权力之上
未来的 AI 可能完成比大部分人类专家更复杂的任务。但能力强大，不意味着权力应该没有边界。
一个优秀的组织并不要求所有员工拥有无限权限。同样，一个成熟的 AI 社会，也不应该要求所有智能体都被赋予不可审计的行动能力。
真正值得追求的，是一种能同时实现自主性与责任约束的架构：Agent 能够独立研究、提出建议、协调资源和完成任务，但它们的执行权限应当具有明确范围，可以被验证，可以被撤销，并且在发生错误时能被追溯。
Alignment 研究试图回答机器为什么会按照我们的意图行动。可验证执行控制则进一步回答，即使机器没有按照我们的意图行动，系统如何限制损失。两者不能相互替代。
智能可以持续提升，但权力始终需要边界。