TL;DR
モロクは人ではありません。協調の失敗という構造であり、参加者の誰にも悪意を必要としません。必要なのは協調できない環境だけです。
- その形：全員がより良い集団的帰結を望みながら、競争と誘因によって揃ってより悪い均衡へ滑り落ちる。無意味な残業も広告の軍拡も同じ構造です。
- 囚人のジレンマの数字：双方が慎重なら各 8。一方が強気なら 12 対 2。双方強気なら各 4。相手が何を選ぼうと強気が個人にとって最適なので、(8, 8) が可能だったのに (4, 4) で安定します。
- AI に固有なのは、競争の時間尺度を圧縮することです。 企業の効率向上は利益向上ではなく、取引の高速化は全参加者の収益向上ではありません。業界の効率と参加者の利益を混同してはいけません。
- 技術の進歩は制度問題を自動的には解きません。 計算問題は計算資源とデータで改善しますが、制度問題は目的の異なる複数主体に関わり、全員が最適戦略を正確に計算しても協力は生まれないことがあります。
- 抜け出す道は、参加者により善良であれと求めることではなく、非協力を有利にしている誘因を変えることです。隠れたリスクを観察可能にし、約束を検証可能にし、外部費用を意思決定に織り込む。そして協調機構自体も失敗しうると認めることです。
1. モロクは人ではない
Moloch は古代の宗教的・文学的な表象に由来します。Scott Alexander は 2014 年の Meditations on Moloch でこの名を借り、繰り返し現れる社会的な機構を描きました。すべての参加者がより良い集団的帰結を望みながら、競争・誘因・協調の問題によって、揃ってより悪い均衡に入る。
たとえば残業。どの企業も無意味な残業は減らしたい。しかし一社が長時間労働で短期的な優位を得れば、他社も追随を迫られます。業界全体の労働時間が増え、従業員の福利は下がり、企業の相対的な競争位置はほとんど変わらないかもしれません。
広告も同じです。誰も広告を出さなければ各社とも多額を節約できます。しかし一社が注意を買い取れるなら、他社にも追う動機が生まれます。結果として全社がより高い販促費を負担し、消費者の注意は以前と同じだけしかありません。
すべての広告が浪費だという話でも、競争が一般に悪い結果を生むという話でもありません。問題は、一部の競争行動が主に参加者間の相対的位置を動かすだけで、それに見合う規模の社会的純便益を生まないことです。
私的便益と社会的費用が乖離するとき、合理的な行動が集団的な非合理を生みます。
2. ゲームとして書き下す
最小限の二者ゲーム。各社は安全な開発か強気な競争かを選べます。
| 相手は安全 | 相手は強気 | |
|---|---|---|
| 自社は安全 | 8, 8 | 2, 12 |
| 自社は強気 | 12, 2 | 4, 4 |
この仮定のもとでは、相手が何を選んでも強気が最適反応です。相手が安全なら 12 > 8、強気なら 4 > 2。
こうして双方 4 で安定します。揃って安全を選べば各 8 だったのに。 典型的な囚人のジレンマです。
この数値はモデルであって、AI 業界の実際の利得推計ではありません。現実には安全投資が顧客の信頼を高め、障害損失を減らし、製品品質を上げて、それ自体が競争優位になることもあります —— その場合は行列そのものが変わります。
それでも根底の論点は成り立ちます。より良い集団的帰結が存在すると全員が知っていても、その帰結に到達できるとは限りません。 約束、監視、信頼に足る執行の仕組みがなければ、協力は続きません。
3. AI は生産性と協調失敗を同時に増幅する
AI に固有なのは、個々の参加者の能力を上げるだけでなく、市場全体の競争速度を変える点です。
かつて事業を拡大するには、採用し、チームを作り、訓練し、管理体制を築く必要がありました。今後は多くの業務をソフトウェアのエージェントが担い、企業の拡大速度は従来の人員制約から部分的に切り離されます。
競争の時間尺度が圧縮されます。
- 数週間かかった市場分析が数時間で終わりうる
- 人の確認に依存していた制作が二十四時間稼働しうる
- トレーダーが執行していた戦略を、複数のエージェントが並行して調査・執行しうる
全参加者が同じ能力を持ったとき、問題が現れます。
| 成り立つように見える | 実際には限らない |
|---|---|
| 企業の効率が上がる | → 企業の利益が上がる |
| 取引が速くなる | → すべての参加者の収益が上がる |
| 制作の規模が拡大する | → 公共的な議論の質が上がる |
競争の帰結は絶対的な生産性だけでなく、希少資源、市場構造、参加者の相対的な行動に依存するからです。
技術が主に競争の費用を下げるだけで、競争の基本的な誘因を変えないなら、社会は同じ非効率な均衡へより速く到達するだけかもしれません。
金融では顕著です。公開シグナルの同じ組を使って裁定機会を探す取引エージェントが増え続けるとします。初期の参加者は高い収益を得るかもしれません。競合が増えるにつれ裁定幅は圧縮され、計算資源・データ・執行基盤への投資は上がり続けます。最終的に一部の戦略は、収益の大半を技術基盤の費用へ転換してしまうかもしれません。
社会はより効率的な価格発見を確かに得ます。競争に参加する個々の主体が、それによって高い収益を得るとは限りません。業界の効率と参加者の利益を混同してはいけません。
4. なぜ技術の進歩だけでは制度問題が解けないのか
よくある技術楽観論は、道具が十分に進歩すれば社会の問題もいずれ技術で解けると考えます。
しかし制度問題と計算問題は種類が違います。
計算問題は、目的関数が明確なら、計算資源を増やし、アルゴリズムを改善し、データを増やすことで概ね改善します。
制度問題は目的の異なる複数の主体に関わり、それぞれ異なる利害・権力・情報を持ちます。全員が最適戦略を正確に計算できても、協力が成立しないことがあります。
二つの国が軍拡の費用の高さを互いに知っていてなお、相手が合意を守るか確信できないために軍事支出を増やし続ける。これは計算能力の不足ではありません。 約束の信頼性、戦略的不確実性、安全保障のジレンマが重なった結果です。
AI は状況の分析を助けられますが、推論が強くなるだけで利害の対立が消えるわけではありません。市場を正確に予測するエージェントを持つ企業も、競合が業界全体にとって最善の行動を取ることを保証できません。
知能は意思決定を改善します。ゲームの構造を自動的には変えません。
5. どう抜け出すか
鍵は参加者により善良であれと求めることではなく、非協力を有利にしている誘因を変えることです。
第一に、隠れたリスクを観察可能にする。 市場が安全なシステムと危険なシステムを区別できないとき、企業が安全に投資し続ける理由は乏しくなります。公開された信頼性指標、独立した評価、事故の開示は、見えなかった安全の質を、市場が値付けできる競争変数へ変えうる。
第二に、約束を検証可能にする。 企業がある安全原則に従うと述べることと、外部がそれを確認できることは別です。高リスクのエージェントの執行権限を独立したポリシーエンジンで制約できるなら、安全の主張は自己申告だけに依存しなくなります。
第三に、外部費用を意思決定に織り込む。 障害の損失が全面的に利用者に降りかかり、企業は自動化の効率だけを得るなら、市場はリスク統制の価値を過小評価します。責任配分、保険、監査義務、契約の設計は、この計算を変えます。
第四に、協調機構自体も失敗しうると認める。 規制は少数の大企業に取り込まれ、競争を阻む道具になりえます。安全基準は高価で非効率な形式的コンプライアンスに退化しえます。情報開示は営業秘密を漏らし、新たな攻撃面を生むことさえあります。
ですから良い制度は、参加者を制約するだけでなく、透明で、異議を申し立てられ、更新でき、自らを正せるものでなければなりません。
6. 重要な基盤は、協調の基盤かもしれない
過去のソフトウェア革命が主に情報処理の費用を下げたとすれば、エージェントの時代は行動と組織化の費用を下げるかもしれません。
独立して調査し、交渉し、調達し、取引し、実行できるソフトウェア主体が増えていきます。ここに重要な変化が生じます。
社会における行動主体の数は大きく増えうる一方で、信頼・監督・責任配分の仕組みは同じ速度では拡張しません。
一社が数千のエージェントを運用し、一人の利用者が複数のエージェントに別々の市場での代理を委ね、異なる組織のエージェント同士が直接取引し、協働し、情報を交換する。
行動が安くなるとき、協調と責任が新たなボトルネックになります。
したがってこれから築く価値のある基盤は、モデル・計算資源・データだけではありません。検証可能な身元、限定された授権、共有される実行プロトコル、独立した監査、紛争解決、そして組織をまたぐ信頼できる協調の仕組みも含まれます。
これらにブロックチェーンが必須というわけでも、すべてを政府が作るというわけでもありません。公開標準、市場の契約、業界団体、検証されたソフトウェアから来るかもしれない。重要なのは、既存の非効率な構造に新しい技術の殻をかぶせるのではなく、参加者の誘因と制約を実際に変えることです。
7. 結び：文明の進歩は、各人を強くするだけではない
私たちは進歩を道具の進歩として読みがちです。より強力な機械、より効率的な生産、より正確な予測。
しかし文明には同じく重要なもう一本の道があります。利害の異なる個人に、どう協力させるか。 所有権、貨幣、企業、市場、法、科学者共同体は、いずれも人間が作った協調の機構として読めます。どれも完全ではありませんが、大規模な協力を可能にしました。
AI は個々の知能と行動能力が大きく高まった社会を生むかもしれません。しかし賢い行動主体が無数にいるシステムが、賢いシステムであるとは限りません。
悪い誘因を変えられなければ、知能が強く競争が激しいほど、集団的な失敗はむしろ速く訪れうるのです。
本当の課題は、より賢い機械を作ることだけではなく、ますます有能になる行動主体に、それでも協力する理由を与える制度を作ることです。