ブレストから文献調査・論文執筆・査読まで自ら行なう「AIサイエンティスト」、Sakana AIが発表

Sakana AI、「AIサイエンティスト」を発表

　AIスタートアップのSakana AI（株）は8月13日、大規模言語モデル（LLM）を使用して研究開発プロセスそのものを自動化するAIシステム「AIサイエンティスト（The AI Scientist）」を発表した。オックスフォード大学（イギリス）およびブリティッシュ・コロンビア大学（カナダ）との共同研究で進められた実証実験の結果は、論文投稿サイト「arXiv」にて公開中。ソースコードもオープンソース化している。

　「AIサイエンティスト」は、アイデア創出、実験の実行と結果の要約、論文の執筆およびピアレビュー（査読）といった科学研究のサイクルを自動的に遂行する新たなAIシステム。

AIサイエンティストが実際に作成した論文の例（「Adaptive Dual-Scale Denoising」）

実験データの図も生成されている

論文末尾には引用元が示されている

　特筆すべき点は、最初の準備以外、一切人間の介入なしで、本システムが機械学習研究の全ライフサイクルを自律的に実行できるということ。研究アイデアの発案、実験の設計・実施、結果の収集と分析までを自動で行ない、その結果をもとに研究論文を執筆するという。

　さらに、論文執筆を担当するLLMとは別に、査読者役のLLMが生成された原稿を批評し、フィードバックを提供して研究を改善するほか、次のサイクルでさらに発展させるべき有望なアイデアの選定も行なう。これにより、人間の科学コミュニティを模倣した継続的かつオープンエンドな探求のサイクルが実現。今回の実証実験では「AIサイエンティスト」によって言語モデル、拡散モデル、Grokkingといった機械学習の研究分野をテーマにしたさまざまな論文が生成された。

「AIサイエンティスト」の動作概念

1. ブレインストーミング
   探求してもらいたい既存のトピックの開始コード「テンプレート」を提供すると、研究の方向性を自由に探求することができる。アイデアが斬新であることを確認するために、学術文献を検索することが可能
2. 実験の反復
   アイデアとテンプレートが与えられると、提案された実験を実行し、その結果を視覚化するプロットを取得して作成する。保存された図と実験メモなど、論文作成に必要な情報を用意する
3. 論文の執筆
   標準的な機械学習会議のスタイルにもとづいて論文を執筆する。学術文献を検索し、引用すべき関連論文を自律的に見つける
4. 査読・評価
   生成された論文を人間に近い精度で査読・評価、LLMを用いた自動レビューを行なう。継続的なフィードバック・ループを実現し、研究成果を反復的に改善することが可能

　同社は、AIの大きな進歩のたびに、AI分野の研究者らが「あとはAIに論文を書かせる方法を見つけるだけだ！」と冗談を言い合うのが常だったに対し、今回の研究を「かつてジョークだったものが今、現実的なものとなったことを示している」として、その成果を強調。人間の代わりにLLMが独立して研究を行なうことで人間の介在を排除した完全な自動化を達成したとしている。

　また「AIサイエンティスト」が実際に作成した論文には、いくつかの欠点はあるものの（例えば、最も関連性の高い実験だけでなく、実施したすべての実験を共有していること、成功した理由の解釈が若干間違っていることなど。将来的にはマルチモーダルモデルが組み込むといった機能改善を実施予定）、コストの点でも効率的に設計されており、今回の実証実験では、各アイデアが実装されて論文となる過程には1本あたり約15米ドルのコストがかかっただけとのこと。

　その一方、同社は「AIサイエンティスト」が非倫理的な方法で悪用される可能性もあることを指摘。また、論文執筆の自動化に伴い、査読者の作業負荷が大幅に増加し、論文の品質管理を妨げる可能性もあると示唆している。これには「AIによって生成された論文やレビューにはその旨を明記する必要がある」と説明。ただし、同社は人間の科学者の役割が縮小されることになるとは考えておらず、「むしろ、科学者の役割は変化し、新しいテクノロジーに適応し、より上位のヒエラルキーに立てるようになるだろう」との期待感を示している。