国産フルスクラッチLLM「PLaMo 2」が公開 ～100Bから8Bの軽量モデルに、個人は無償で商用利用も可能

国産フルスクラッチLLM「PLaMo 2 8B」が公開

　（株）Preferred Networks（PFN）は2月25日、グループ会社の（株）Preferred Elements（PFE）が開発する大規模言語モデル「PLaMo」シリーズにおいて、最新モデル「PLaMo 2 8B」を公開した。ダウンロードは「Hugging Face」より可能。ライセンスは条件付きで商用利用可能な「PLaMo Community License」で、個人や中小規模の企業は有償・無償を問わず利用できる。

　「PLaMo 2」は、GPT-4を超える日本語性能を実現した国産フルスクラッチLLM「PLaMo」の最新モデルで、「Samba」に代表されるハイブリッドアーキテクチャーを採用して効率とパフォーマンスを向上。執筆時点では、今回の8Bモデルに加え、すでに公開済みの1Bモデルをラインナップし、手元のローカルPCで動作したり、ユーザーごとの目的のために追加学習したりすることも可能となっている。

　また、軽量モデルとしてモデルサイズを抑えたまま、先代の「PLaMo 100B」と同等以上の性能を実現。日本特有の問題への知識を問う「JMMLU」やコーディング能力を測定する「JHumanEval」などのベンチマークでも「PLaMo 100B」と同程度、あるいは同レベル以上のスコアを達成しており、高い日本の知識を有したモデルになっていると謳う。なお、事前学習モデルであるため真価を発揮するにはファインチューニングが必要になる。

JMMLU/MMLUの結果

JHumanEval/HumanEval+の結果

　同社では、「PLaMo」シリーズを広く自由に使えるようにしながらも継続的な性能向上を行なうため、商用利用に一部制限を設けたライセンスとして「PLaMo Community License」を設定。このライセンスは、同じく商用利用に一部制限があるものの大規模言語モデル分野で利用されている「Llamaライセンス」を参考に設計された。

　「PLaMo Community License」では、モデルの実行者およびモデルの出力の利用者が個人あるいは中小規模（本ライセンスの定義では年間売り上げが10億円以下）の企業である場合においては、モデルの再配布等によるライセンス波及を除き、各人の責任のもとで商用利用を含め自由に利用可能（詳細な条件はライセンスを参照）。ただし、商用利用の際には「PLaMo商用利用登録フォーム」より用途について送信する必要がある。

　なお、同社は今後、日本国内で競争をするより日本の競争力を高めることが大事であるとの思いから、「PLaMo 2 8Bを使って高品質な日本語データセットを作りOSSライセンスで配布したい」といった要望を実現できるような手続きも準備しているとのこと。