Google、「Gemini Diffusion」を発表 ～テキスト生成AIの常識を覆す可能性を秘めた新しい実験モデル

Google、新しい実験的研究モデル「Gemini Diffusion」を発表

　米Googleは5月20日（現地時間）、新しい実験的研究モデル「Gemini Diffusion」を発表した。デモへのアクセスを希望する開発者のために、順番待ちリストが開設されている。

　「Gemini Diffusion」は、「Stable Diffusion」などの画像生成AIで活用されている“拡散モデル”（Diffusion Model）と呼ばれる技術をテキスト生成に応用しようという野心的なプロジェクトだ。

　従来の大規模言語モデル（LLM）は与えられた単語（トークン）から次のトークンを予測しながらテキストを生成していく自己回帰型の手法が用いられていたが、この逐次プロセスは時間がかかり、出力の質と一貫性が制限されることがある。

　そこでトークンの逐次予測でテキストを生成するのではなく、画像生成AIのようにランダムなノイズから始めて徐々に意味のある出力へと洗練させていく拡散モデルの仕組みをテキストでも実現しようというのが「Gemini Diffusion」だ。

　「Gemini Diffusion」の拡散処理は自己回帰モデルの逐次予測よりも迅速に反復可能で、現行の最速モデルよりも高速にコンテンツを生成できる。また、逐次予測とは異なりトークンのブロックをまとめて一度に生成できるので、ユーザーのプロンプトに対する追従性が向上する。また、生成中のエラーを修正することで出力の一貫性を高めることもできるという。

　まだ実験段階のアプローチではあるが、応答品質の高さと反応の速さの両立が可能となれば、テキスト生成AIに与える影響は計り知れない。