ニュース
商用利用可能で130億パラメーターの日本語LLM「ELYZA-japanese-Llama-2-13b」が公開
デモも公開されており、実際に能力を試すことが可能
2023年12月27日 16:13
東京大学・松尾研究室発のAIカンパニー（株）ELYZAは12月27日、日本語LLM（Large Language Model：大規模言語モデル）「ELYZA-japanese-Llama-2-13b」シリーズを公開した。ライセンスはLlama 2 Community Licenseで、利用規約に従う限り研究および商業目的での利用も可能。
「ELYZA-japanese-Llama-2-13b」は、Metaがオープンソースとして公開している「Llama 2 13B」をベースに、約180億トークンの日本語テキストで追加事前学習を行った日本語向けLLMモデル。ELYZA社は、GPT-3.5（text-davinci-003）を超える性能を有しており、より多くのパラメーターを持つものも含めオープンな日本語LLMの中で最高性能を達成したとしている。
「ELYZA-japanese-Llama-2-13b」シリーズには無印のほか、以下のようなモデルが用意されている。
- ELYZA-japanese-Llama-2-13b-instruct
ユーザーからの指示に従い様々なタスクを解くことを目的とした事後学習を行ったモデル - ELYZA-japanese-Llama-2-13b-fast/ELYZA-japanese-Llama-2-13b-fast-instruct
より少ないトークンで文章を表現できるように「Llama 2」に日本語の語彙を追加して事前学習を行ったモデル
「Hugging Face」で「ELYZA-japanese-Llama-2-13b-instruct」のデモも公開されており、実際に能力を試すことが可能。デモには、［システムプロンプト］や［最大出力トークン数］、［Repetition penalty］といった詳細設定が用意されている。ただし、サーバーの混雑具合によっては実行できないこともあるので注意。
同社によると、知識を問われる事例でより順序だてた説明ができるほか、指定した2単語間を繋ぐような単語を連想する事例では人間でもすぐには思いつかないような自然な単語を連想したという。さらに、土星として受け答えするロールプレイでも破綻なく土星として会話を行えるとのこと。
