AI の経験の時代へようこそ

著者：David Silver、Richard S. Sutton

要旨

私たちは、これまでにない能力の実現を約束する人工知能の新しい時代の入り口に立っている。新世代のエージェントは主に「経験」を通じて学び、人間を超える能力を獲得する。本稿では、この到来する時代の主要な特徴を考察する。

人間のデータの時代

近年、人工知能（AI）は大量の人間が生成したデータで学習し、専門家の実演や選好による微調整を組み合わせることで、大きな進歩を遂げた。この方法の代表が大規模言語モデル（LLM）であり、汎用性において飛躍的な成果を上げている。現在の LLM は、詩の創作、物理の問題の解決、医療上の問題の診断、法的文書の要約まで、幅広い課題を実行できる。

しかし、人間の模倣によって多くの領域で満足できる水準に達しても、それだけでは画期的な能力を実現するには足りない。こうしたモデルは既存の人間の思考法や知識体系を再現する傾向があり、新しい知識の創出や戦略の発見が制限される。

AI が自律的に経験する時代の到来

私たちは、AI の次の最前線を形作るのは、経験から学習できるエージェントだと考える。これらのエージェントは人間の実演に依存せず、環境との相互作用、自らの試行、失敗からの学習を通じて能力を発達させる。その過程は、人間の乳児や動物が自ら世界を探索して知識を得る方法に近い。

このパラダイムの転換は、強化学習の分野ですでに実証されている。強化学習エージェントは、ゲーム、ロボット制御、その他の難しい課題で、人間の専門家を超える能力を示している。

経験による学習には、いくつかの主要な利点がある。

発見を通じた学習：人間がまだ探索していない解決策を見つけられる。
適応性：新しい環境や規則の変更に対し、再学習して適応できる。
継続的な進歩：固定されたデータセットに制限されず、継続的な相互作用によって進化できる。
人間の知識への依存の低減：特に知識が乏しい領域や人間の偏りが強い領域で、その偏りを引き継ぐことを避けられる。

自律的な能力の台頭

経験の時代には、エージェントは自律的な能力を得る。人間の指示に依存するのではなく、自ら目標を設定し、戦略を発見し、学習することで課題を遂行する能力である。人間のラベル、プロンプト、フィードバックに依存するモデルとは異なり、これらのエージェントは次のように行動する。

自ら問いを立てる。
自ら目標を設定する。
自ら結果を評価する。
複雑な知識体系と技能の組み合わせを徐々に構築する。

この能力は、強化学習、進化的アルゴリズム、計画、探索といった方法の組み合わせから生まれ、より生命に近い形での成長を支える。

例えば、一部の囲碁エージェントは人間が使ったことのない戦略を示している。ロボットは現実世界で、従来とは異なるがより効果的な動作を学んでいる。仮想エージェントは複雑な三次元世界で、基本動作から、移動、計画、さらには社会的行動を伴う複雑な戦略へと発展している。

自律的な経験は模倣に優る

人間の実演から学ぶ模倣学習は初期段階では有用だが、明確な制約がある。

人間がすでに知っていることしか学べない。
人間の能力の質に制限される。
未知の状況への汎化能力が低い。
人間の偏りや誤りを引き継ぐ可能性がある。

これに対し、経験に基づく学習は次のことを可能にする。

全く新しい戦略と知識を発見する。
未知の問題に対して、より高い適応性と創造性を示す。
自己修正し、継続的に進化する。
人間の既存の枠組みを超え、「超人的」な能力の領域を探索する。

さらに、経験による学習は、一種の「直感」や「理解」の発達を促す。単に例を記憶するだけでなく、その背後にある規則や構造を把握するようになる。

汎用知能に向けて

経験による学習の真の可能性は、汎用人工知能（AGI）への道を開くことにある。人間の知能が強力なのは、次のことができるからだ。

明確な指示がなくても新しい問題を解く。
異なる状況へ柔軟に経験を移す。
失敗を通じて戦略を継続的に調整する。
何より、模倣だけでなく経験から学ぶ。

経験を通じて成長するエージェントは、人間に似た適応性と創造性を示すことができる。具体的には、次の能力が考えられる。

狭い課題の技術だけでなく、汎用的な技能を発達させる。
課題をまたいだ転移を行う。
生涯学習を実現する。
目標に基づく行動、計画能力、内発的な動機を持つ。

AlphaGo から AlphaZero、そして MuZero へと、経験による学習が人間の知識への依存を徐々に離れ、完全に自律的な知能システムに近づく過程を、私たちはすでに見てきた。

結び：AI が自律的に経験する時代の展望

私たちは、経験を中心とする AI の新時代へ進んでいる。この時代のエージェントは、人間の行動を再現するだけでなく、次のことができるようになる。

自律的に世界を探索する。
新しい技能を学ぶ。
継続的に進化し、適応する。
最終的には、人間を超える能力と洞察を発達させる。

このパラダイムの転換は多くの分野に変革をもたらし、知能の本質を改めて考えるきっかけにもなる。

未来のエージェントは単なる「道具」にとどまらない。協力者、探索者、さらには発見者となり、真の汎用知能の時代へ私たちを導くかもしれない。

謝辞

経験による学習の基礎を築いた先駆者と研究者に感謝する。その仕事は技術の最前線を前進させるだけでなく、知能、学習、意識についての理解の境界も広げてきた。