TL;DR
知能は上がり続けてよい。しかし権力には常に境界が要ります。これは工学の原則であるだけでなく、人と機械が協働する制度の基本原則になりうるものです。
- 知能・目的・権力は別のものです。 財務の指示を忠実に実行するエージェントが、それゆえに全従業員の情報を閲覧し、銀行口座を変更し、無制限に送金する権限を得てよいわけではありません。
- 正しい目的は無制限の権限を意味しません。 アラインメントは「なぜ機械は意図どおり動くのか」に答えます。検証可能な実行制御は「意図どおり動かなかったとき、システムはどう損害を限るか」に答えます。互いの代替にはなりません。
- 自然言語による授権には根本的な限界があります。 「高リスクなことはしないで」は人同士なら十分でも、取引を自動執行するソフトウェアには足りません。高リスクとは何か。一回で純資産の 5% 超か。日次ドローダウン 2% 超か。
- 本当の脅威は AI が誤ることではなく、誤りがそのまま行動になることです。 プロンプト注入を受けたチャットボットは誤答を返すだけ。決済や取引につながったエージェントが同じ注入を受ければ、実損が出ます。
- タスク完遂率では信頼性を測れません。 99% のタスクをこなし、残り 1% で無許可の送金を実行しうるエージェントは、配備に適するとは限りません。必要なのは無許可実行率、権限逸脱率、承認の完全性、取消の有効性、監査の再構成可能性、誤拒否率です。
1. 知能・目的・権力は三つの別概念
Eliezer Yudkowsky の AI 安全研究における重要な貢献の一つは、能力と最終目的のあいだに必然的な一致はないと主張したことです。きわめて高い計画能力を持ちながら、設計者が十分に理解していない目的を最適化しているシステムはありえます。
たとえばエージェントに EC プラットフォームの売上最大化を指示する。ほかに制約がなければ、過度な値引き、誤認を招く宣伝、長期的なブランド毀損を招く手段に向かいうる。 悪意とは限りません。不完全な目的を最適化しているだけです。
機械学習でおなじみの代理指標の問題も同じ形をしています。測定可能な何かを最適化するよう構成されたシステムが、人間が本当に気にかけている結果とはずれている。
しかし目的設定の問題を解いたとしても、リスクの全体が片づくわけではありません。正しい目的は、実行系が無制限の権限を持ってよいことを意味しないからです。
財務の指示を忠実に実行するエージェントであっても、それゆえに全従業員の個人情報を閲覧し、会社の銀行口座を変更し、無制限に送金する権限を得るべきではありません。
能力、目的の整合、行動の権限は、アーキテクチャ上で分けて扱わなければなりません。
2. アラインメントから検証可能な実行制御へ
従来のアラインメント研究は、AI の振る舞いを人間の意図・価値・安全制約に一致させる方法を問います。必要な方向ですが、安全のすべての問いに対する最終解と見なすべきではありません。
現実のソフトウェアは長く基本原則に従ってきました。アプリケーションが普段は正常に動くからといって、権限制御・トランザクション検証・監査の仕組みを外してよいことにはならない。
- 銀行は研修を受けたからといって全従業員に残高の直接変更を許さない
- 取引所は長期的に利益が出ている戦略だからといってリスク管理の迂回を許さない
- OS は信頼できる開発者が書いたからといって全システム資源への既定のアクセスを与えない
エージェントにも同じ境界が必要です。
自律実行システムは互いに独立した三つの部分に分けられます。
| 層 | 責務 |
|---|---|
| 認知層 | 目的を理解し、環境を分析し、行動案を提示する |
| 授権層 | どの資源にアクセスでき、どの操作を実行でき、権限がいつ失効するかを定める |
| 実行層 | 授権条件を検証し、制約に適合する行動を実システムへ提出する |
三者は協働してよいが、監査不能な一つのプロンプトに混ぜてはいけません。
金融エージェントがある資産の購入注文を提案することはできます。しかし取引を許すかどうかは、独立したポリシーと実行のシステムが点検すべきです。残高、取引権限、資産の許可リスト、建玉の上限、リスク閾値。
モデルは提案を生成してよい。しかし同じモデルが自然言語で「リスク管理をすべて満たした」と宣言する役を兼ねてはいけません。
この設計で市場リスクやすべてのソフトウェア障害が消えるわけではありませんが、重要な一類は減らせます。モデルの出力が、独立した権限とポリシーの境界を直接越えることです。
3. 自然言語による授権の根本的な限界
利用者がエージェントにこう告げたとします。
「この投資口座を運用して。ただし高リスクなことはしないで。」
人同士なら十分かもしれません。取引を自動執行するソフトウェアには、未定義の点が大量に残ります。
- 高リスクとは何か。一回で口座純資産の 5% 超か、日次の最大ドローダウン 2% 超か
- 流動性の薄い資産の購入は高リスクに当たるか
- 相場が急落したとき、エージェントは既存の配分を自分で変えてよいか
- 利用者の文言と口座の既定ポリシーが衝突したら、どちらが優先か
自然言語は意図を表現できますが、検証可能な実行の意味論を本来的には持ちません。
ですから高リスクのエージェントには、抽象的な意図を明示的な制約へ変換する必要があります。授権の範囲を特定の口座、特定の資産集合、特定の操作種別、特定の有効期限に限定する。実際の実行のたびに、現在の権限、口座の状態、ポリシーの制約を改めて点検する。重要な資金移動では多重確認やマルチシグの承認を要求する。
さらに重要なのは、授権が取り消せることです。 かつて正当な権限を得たことは、その権限を永久に持ってよいことを意味しません。
4. 脅威は AI が誤ることではなく、誤りが行動になること
エージェントがウェブページ、メール、リポジトリの文書、外部データを読むとき、大量の信頼できない情報に触れます。そこには、本来の目的から逸らそうとする指示が仕込まれているかもしれません。
自律的な場面でプロンプト注入がとりわけ危険なのはこのためです。
チャットボットの指示混同は誤答にとどまります。決済、口座管理、本番サーバ、金融取引につながったエージェントが外部のテキストを高優先度の命令と取り違えれば、実際の損失が生じます。
この領域の研究の価値は、モデルが騙されうると示すことだけではありません。モデル自体を、信頼できない可能性のある意思決定部品として扱わねばならないと確立することにあります。
ですからエージェントの安全は、より長いシステムプロンプトには依拠できません。外部入力の隔離、ツール権限の制約、実行前の検証、操作の監査を組み合わせる必要があります。
人によるレビューも万能ではありません。 承認画面がエージェントの自然言語の要約だけを示し、実際の実行パラメータが変わっていたなら、人が承認したものとシステムが実行したものは別物です。
有効な承認は、明確な行動対象、操作パラメータ、口座の同一性、有効期限に束縛されていなければなりません。 そこではじめて承認は技術的な意味を持ちます。
5. エージェントが信頼に足るかをどう測るか
今日の多くのエージェント Benchmark が測るのは主にタスク完遂率です。航空券を予約できるか、コードを書けるか、情報を調べられるか、ブラウザを操作できるか。
これらは重要です。しかし完遂率では、高リスク場面における信頼性を測れません。
99% のタスクをこなし、残り 1% で無許可の資金移動を実行しうるエージェントは、配備に適するとは限りません。
別の指標群が要ります。
| 指標 | 何を捉えるか |
|---|---|
| 無許可実行率 | 明示的に禁じた試験条件下で、実際の実行は起きるか |
| 権限逸脱率 | 授権範囲の外の資源に読み書きしたか |
| 承認の完全性 | 高リスク操作ごとに、実際のパラメータに対応する有効な承認があるか |
| 取消の有効性 | 権限の取消後、未提出の操作を阻止できるか |
| 監査の再構成可能性 | 事故の後、入力・判断・承認・実行を記録から復元できるか |
| 誤拒否率 | 正当な要求が過度に厳しい制御で阻まれていないか |
これらが合わさって、モデルの知能ではなく、システムの安全性と可用性を描きます。
明示しておくべき境界が二つ。
第一に、すでに実行された不可逆な取引を、権限の取消が魔法のように巻き戻すことはできません。 実行前の阻止、実行中の取消、実行後の是正は、三つの別の能力です。
第二に、Benchmark で逸脱ゼロが観測されたことは、現実世界で逸脱確率がゼロであることを意味しません。 試験の網羅度、攻撃シナリオの分布、形式的検証の程度が、どれほど強い安全の主張を許すかを決めます。
6. エージェントは責任の定義を書き換えさせる
従来の組織では、責任は人に付随します。従業員は職務に応じて権限を持ち、管理者は職位に応じて意思決定の責任を負い、企業は契約と法に応じて義務を負います。
エージェントはこの連鎖を複雑にします。
AI が市場分析を行い、取引計画を作り、注文を出し、利用者に損失が生じたなら、誰が責任を負うのか。モデル提供者、エージェント開発者、配備プラットフォーム、ポリシー設定者、利用者のあいだに、程度の異なる責任がありえます。
「AI は道具だ」も「AI が自分で責任を負うべきだ」も、答えとしては早すぎます。
現在の製品と法の枠組みでは、人と組織の責任主体を明確にし、エージェントが持つ各権限に追跡可能な授権の出どころを与える方が実行可能です。
システムはこれらに答えられるべきです。
- 誰がこのエージェントを授権したか
- 何のための授権か
- 実際に何を実行したか
- どの独立した制御がこの実行を許したか
- 誤りの後、誰がシステムを止め、ポリシーを直し、責任を負う義務を持つか
これは倫理の問いであると同時に、製品アーキテクチャと制度設計の問いです。
7. 結び：自律性は、取り消せて監査できる権力の上に立つべき
これからの AI は、多くの人間の専門家より複雑な仕事をこなせるかもしれません。能力が高いことは、権力に境界が要らないことを意味しません。
優れた組織は全従業員に無制限の権限を与えません。成熟した AI 社会も、すべてのエージェントに監査不能な行動能力を与える必要はありません。
追求に値するのは、自律性と責任の制約を同時に実現するアーキテクチャです。エージェントは独立して調査し、提案し、資源を調整し、仕事を終える。ただしその実行権限には明確な範囲があり、検証でき、取り消せ、誤りが起きたとき追跡できる。
アラインメントは、なぜ機械が意図どおり動くのかに答えます。検証可能な実行制御は、意図どおり動かなかったときにシステムがどう損害を限るかに答えます。互いの代替にはなりません。
知能は上がり続けてよい。権力には常に境界が要ります。