ニュース

イーロン・マスク氏が設立したxAI、LLM「Grok-1」をオープンソースで公開

3,140億パラメーターのMoEモデル、GitHubより利用可能

xAIが公開した「Grok-1」

 イーロン・マスクが設立したAI企業の米xAIは3月17日(現地時間)、大規模言語モデル(LLM)「Grok-1」のモデルウェイトとアーキテクチャーをオープンソースで公開した。リポジトリは「GitHub」上に公開されており、「Apache License 2.0」のもとで利用可能。

 「Grok-1」は、3,140億個のパラメーターを持つMixture-of-Experts(MoE)モデル。MoEは、複数の専門家(Expert)モデルを組み合わせたアーキテクチャーで、与えられた入力に応じて適切なExpertの出力を選択、結びつけることにより、大規模なモデルを効率的に構築できるのが特徴だ。「Grok-1」では、特定のトークンに対して25%のウェイトがアクティブになるという。

 なお、「Grok-1」は大量のテキストデータに基づいて訓練されたベースモデル(事前学習段階は2023年10月に終了)で、対話などの特定のタスク向けにファインチューニングされていない点には注意したい。xAIでは「JAX」および「Rust」上にカスタムトレーニングスタックを用いてモデルをゼロから構築したとのこと。

「Grok-1」はGitHubで公開されており、「Apache License 2.0」下で利用可能