「Llama 3.1」ベースの日本語追加学習LLM、サイバーエージェントが爆速公開

サイバーエージェント、「Llama 3.1 70B」ベースの日本語追加学習モデルを公開

　（株）サイバーエージェントは7月26日、米Metaが開発したオープンLLM「Llama 3.1 70B」をベースに、日本語データで追加学習を行なったLLM「Llama-3.1-70B-Japanese-Instruct-2407」を公開した。同モデルは「Hugging Face」にて公開されており、Meta独自の「Llama 3.1 Community License」のもと、基本的に商用利用可能。ただし、利用規約への同意や追加ライセンスが必要な場合もある。

　8B/70B/405Bのモデルからなる「Llama 3.1」シリーズは、現地時間7月23日に発表・公開されたばかりの最新LLM（オープンモデル）。150を超える複数のベンチマークにおいて、米OpenAIの「GPT-4o」や米Anthropicの「Claude 3.5 Sonnet」といった他社モデル（クローズドモデル）よりも優れたパフォーマンスを発揮できたとされている。

　対応言語については、公式アナウンス的には英語を含む8言語にサポートを拡張したが、その中に日本語は含まれていなかった。

　今回の「Llama-3.1-70B-Japanese-Instruct-2407」は、サイバーエージェントが「Llama 3.1 70B」をベースに日本語データで追加学習を行なったモデルとなる。ベースモデルの発表より約2日以内という、まさに“爆速”なスピード感のある対応は驚異的であり、「Llama 3.1」の日本語サポート体制を補うものとして期待される。

　同社は、今回のモデル公開に際し、「今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります」とコメントしている。