GPT-4を使ったAIが「マインクラフト」を勝手に冒険して成長する「Voyager」が公開

「Voyager」が操作する「Minecraft」（デモ動画より抜粋）

　NVIDIA、カリフォルニア工科大学、スタンフォード大学などの共同研究チームは5月27日、自律型のAIエージェント「Voyager」をオープンソースとして公開した。大規模言語モデル（LLM)として「GPT-4」を用い、世界中で人気のオープンエンドワールド型ゲーム「Minecraft」のワールドを人の手を介さずに自律的に探検し、スキルを習得し、新しい発見ができるという。

What if we set GPT-4 free in Minecraft? ⛏️

I’m excited to announce Voyager, the first lifelong learning agent that plays Minecraft purely in-context. Voyager continuously improves itself by writing, refining, committing, and retrieving *code* from a skill library.

GPT-4 unlocks…pic.twitter.com/hjTxk6Qb1x

— Jim Fan (@DrJimFan)May 26, 2023

自律型AIエージェント「Voyager」とは

　「Voyager」を発表した共同研究チームは、昨年11月「MineDojo」という別のAIシステムでも論文を発表しアワードを受賞している。この「MineDojo」はインターネット上のマインクラフトの膨大のプレイ動画などから学習し、対話形式でAIエージェントを操作できるもの。今回の「Voyager」はこれとは別のアプローチ。人が介入する必要がないAIで、人間がマイクラを経験してできることが増えていくようにAI自身がマップ内を体験し学習していくシステムだ。

　公開されたWebサイトでは、「Voyager」が行っているプレイ動画が何点か掲載されている。これをAIが自律的に行っている点に注意してほしい。

Webサイト上の動画の一覧

　「Voyager」は、主に以下3つのコンポーネントから構成されている。

1. 探検を最大化する自動カリキュラム
2. 複雑な行動を実行可能なコードとして記録するスキルライブラリ
3. 環境のフィードバックや実行エラーを考慮したプログラム改善のための反復プロンプトメカニズム

「Voyager」を構成する3つの主要コンポーネント

　「Voyager」の特徴の1つが大規模言語モデル（LLM)としてすっかりお馴染みになったGPT-4を利用している点。連携する方法は、ブラックボックスクエリと呼ばれる手法を使っている。GPT-4に対して自然言語で問いかけ指示することで、コードやテキストを返してもらう。GPT-4のモデルパラメーターを微調整する必要がないのが利点だという。

従来手法と比較して高い能力を示す

　GPT-4を用いた「Voyager」はマインクラフトのプレイで従来の手法と比べて優れた能力を示したという。比較対象とされたReACT、Reflection、AutoGPTを使った場合に比べ、3.3倍多くのユニークなアイテムを取得し、2.3倍の長距離を移動し最大 15.3倍の速さで技術的な進歩を達成することができた。

　例えば、マインクラフトの世界では道具をステップアップするスキルが必要だ。木の道具から石の道具、さらに鉄の道具へと進み、さらにはダイヤの道具にまで進む。従来の手法では、ダイヤの道具にまで進むことができなかったが、「Voyager」だけがこの段階を突破することができたという。また、各段階の時間も大幅に短縮されたという。

「Voyager」と他の手法を使ったAIエージェントの成長の比較、「Voyager」が圧倒的速さで進歩していくのがわかる

　ワールドの探検範囲にも大きな違いが見られた。従来手法では、越えることのできない地形のあるマップでも、「Voyager」はより広い範囲を探索することができたという。よく迷子になって泣いている筆者よりはるかに優秀そうである。

マップの探査範囲の俯瞰図、最も広い範囲が「Voyager」

スキルライブラリの効果

　「Voyager」は学習したスキルをスキルライブラリに記録していく。このスキルライブラリを活用して、新しいマインクラフトの世界（ワールド）においても、持ち物がリセットされた状態から未知のタスクに対応することができるという。世界を探索し続け、新しいマインクラフトのアイテムやスキルを発見することが可能なわけだ。

　チームによると、学習済みのスキルライブラリを従来のAutoGPTと組み合わせた場合でも効果が見られたという。スキルライブラリが他の方法でも簡単に使用できる用途の広いツールであり、効果的に機能することを示唆しているという。

　チームは、『「Voyager」は、モデルのパラメーターを調整する必要がない強力な汎用AIエージェントを開発するための出発点である』と結んでいる。

　「Voyager」は、現在Webサイト、論文、GitHub上のコードが既にオープンソースとして公開されており、環境さえ用意すれば試すことができるようだ。GitHub上のインストール手順によれば、「Voyager」の動作要件としては次の通り。興味がある人は是非試してみてはどうだろか。

• Minecraft
• Fabric Mod
• Python(3.9以降)
• Node.js(16.13.0以降)

　詳しくは、各Webサイトを参照してほしい。