Metaがマルチモーダルで比類なきコンテキスト長をサポートした「Llama 4」をリリース

Metaが「Llama 4」を発表

　米Metaは4月5日（現地時間）、「Llama 4」を発表した。「Scout」「Maverick」「Behemoth」の3種類のモデルが用意されており、「Llama 4 Scout」と「Llama 4 Maverick」についてはllama.comおよびHugging Faceからダウンロード可能。

　「Llama 4」はネイティブのマルチモーダル性、前例のないコンテキスト長サポートを備えたオープンウェイトモデル。複数の専門家モデルを組み合わせて使用する「MoE」（Mixture of Experts）技術を使用しており、単一のトークンは全パラメーターの一部のみをアクティブ化するため、トレーニングと推論の計算効率が高い。

Llama 4は複数の専門家モデルを組み合わせたMoE技術を

　「Llama 4 Scout」は、16のエキスパート、170億のアクティブパラメーター、合計1,090億のパラメーターを備えたモデル。256Kのコンテキスト長で事前および事後トレーニングがされている。単一のNVIDIA H100 GPUに収まる一方で、以前のLlamaモデルよりも強力。さらに、1,000万（10M）のコンテキストウィンドウを提供し、ベンチマークでは「Gemma 3」「Gemini 2.0 Flash-Lite」「Mistral 3.1」よりも優れた結果を出している。複数のドキュメントの要約、パーソナライズされたタスクのための広範なユーザー アクティビティの解析、膨大なコードベースでの推論が可能。

Scoutのベンチマーク

　「Llama 4 Maverick」は、128のエキスパート、170億のアクティブパラメーターと4,000億の合計パラメーターをもつモデル。ベンチマークでは「GPT-4o」「Gemini 2.0 Flash」よりも優れ、推論とコーディングでは「DeepSeek v3」に匹敵する結果を、半分以下のアクティブパラメーターで達成したとしている。正確な画像理解とクリエイティブなライティングに最適であり、言語の壁を越える高度なAIアプリケーションの作成が可能。

Maverickのベンチマーク

　「Llama 4 Behemoth」は、16のエキスパート、2,880億のアクティブパラメーター、合計約2兆（2T）のパラメーターを備えたモデル。ベンチマークでは「GPT-4.5」「Claude Sonnet 3.7」「Gemini 2.0 Pro」よりも優れているとしている。なお、「Llama 4 Scout」および「Llama 4 Maverick」は現在トレーニング中の「Llama 4 Behemoth」の抽出モデルだ。

Behemothのベンチマーク