ニュース
イーロン・マスク氏が設立したxAI、LLM「Grok-1」をオープンソースで公開
3,140億パラメーターのMoEモデル、GitHubより利用可能
2024年3月18日 12:42
イーロン・マスクが設立したAI企業の米xAIは3月17日（現地時間）、大規模言語モデル（LLM）「Grok-1」のモデルウェイトとアーキテクチャーをオープンソースで公開した。リポジトリは「GitHub」上に公開されており、「Apache License 2.0」のもとで利用可能。
「Grok-1」は、3,140億個のパラメーターを持つMixture-of-Experts（MoE）モデル。MoEは、複数の専門家（Expert）モデルを組み合わせたアーキテクチャーで、与えられた入力に応じて適切なExpertの出力を選択、結びつけることにより、大規模なモデルを効率的に構築できるのが特徴だ。「Grok-1」では、特定のトークンに対して25％のウェイトがアクティブになるという。
なお、「Grok-1」は大量のテキストデータに基づいて訓練されたベースモデル（事前学習段階は2023年10月に終了）で、対話などの特定のタスク向けにファインチューニングされていない点には注意したい。xAIでは「JAX」および「Rust」上にカスタムトレーニングスタックを用いてモデルをゼロから構築したとのこと。
