商用可能な日本語LLM「CyberAgentLM3」が一般公開、性能は「Llama-3-70B」と同等

日本語LLM「CyberAgentLM3」

　（株）サイバーエージェントは7月9日、225億パラメーターの日本語LLM（大規模言語モデル）「CyberAgentLM3」を一般公開した。同モデルは商用利用可能な「Apache License 2.0」で提供されており、「Hugging Face」よりダウンロード可能。Hugging Faceの「Spaces」にはデモも公開されている。

「CALM3-22B-Chat-Demo」

　今回公開されたモデルは、既存モデルをベースに用いずスクラッチで開発を行なった225億パラメーターの「CyberAgentLM3-22B-Chat」。

　LLMの日本語能力を評価する「Nejumi LLM リーダーボード3」において、米Metaが開発した700億パラメーターのLLM「Meta-Llama-3-70B-Instruct」と同等の性能を記録。本モデルについて、サイバーエージェントは「スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能」になると紹介している。

　サイバーエージェントは、かねてより日本語LLMの開発に取り組んでおり、2023年5月に独自の日本語LLM「CyberAgentLM」を一般公開。その後も、2023年11月にバージョン2となる「CyberAgentLM2」を、2024年6月には視覚を付与したVLM（大規模視覚言語モデル）を公開した。これらの技術は同社が提供する「極予測AI」をはじめ、さまざまなサービスにおいて広く活用されている。