ニュース
イーロン・マスク氏が設立したxAI、LLM「Grok-1」をオープンソースで公開
3,140億パラメーターのMoEモデル、GitHubより利用可能
2024年3月18日 12:42
イーロン・マスクが設立したAI企業の米xAIは3月17日(現地時間)、大規模言語モデル(LLM)「Grok-1」のモデルウェイトとアーキテクチャーをオープンソースで公開した。リポジトリは「GitHub」上に公開されており、「Apache License 2.0」のもとで利用可能。
「Grok-1」は、3,140億個のパラメーターを持つMixture-of-Experts(MoE)モデル。MoEは、複数の専門家(Expert)モデルを組み合わせたアーキテクチャーで、与えられた入力に応じて適切なExpertの出力を選択、結びつけることにより、大規模なモデルを効率的に構築できるのが特徴だ。「Grok-1」では、特定のトークンに対して25%のウェイトがアクティブになるという。
なお、「Grok-1」は大量のテキストデータに基づいて訓練されたベースモデル(事前学習段階は2023年10月に終了)で、対話などの特定のタスク向けにファインチューニングされていない点には注意したい。xAIでは「JAX」および「Rust」上にカスタムトレーニングスタックを用いてモデルをゼロから構築したとのこと。