使ってわかるCopilot+ PC

第28回

中国発の高性能AI「DeepSeek-R1」はCopilot+ PCで動くのか? 「LM Studio」で挑戦

小型化された蒸留モデルで独特な思考プロセスを体験

DeepSeekのWebサイト

「DeepSeek-R1」の登場に揺れるAI業界

 AI業界には今、中国のスタートアップ企業が開発したAIモデル「DeepSeek-R1」の登場による激震が走っている。OpenAIの1世代前のAIモデル「o1」に匹敵する性能を、はるかに低いコストで開発し、サービスを桁違いに安価に提供したことで、世界中から注目を集めた。

 中国は米国から半導体輸出規制を受けており、最先端半導体の利用が難しい状況にありながら、「DeepSeek-R1」が開発・提供された。「それなら高価なAI向け半導体は今後要らないのでは?」という話も出てきて、世界最大のAIチップメーカーであるNVIDIAの株価暴落の引き金になった。

 本連載で扱う「Copilot+ PC」のAI機能とは直接関係のある話ではないが、AI関連の注目すべき話題として触れておきたい。「Snapdragon X」シリーズ搭載の「Copilot+ PC」で、「DeepSeek-R1」を動かしてみよう。

「LM Studio」で「DeepSeek-R1」を体験

「LM Studio」のWebサイト

 今回は、ローカル環境で大規模言語モデルを動かすツール「LM Studio」を利用する。最近のアップデートで、早速「DeepSeek-R1」に対応した。公式サイトを見るとARM64版がある(「Snapdragon X」搭載PCで見ると、ARM64版がトップページに表示される)ので、そちらをダウンロード。

 「DeepSeek-R1」はオープンソースなので、ダウンロードしてローカル環境で動かすことも可能。ただし全データをそのまま丸ごとだとTB単位の大容量になり、これを個人のローカルPCのメモリに収めて動かすのは現実的ではない。

 しかし「DeepSeek-R1」には、サイズを小さくした蒸留モデルが存在する。仕組みについては本稿では語らないが、「DeepSeek-R1」をベースにした比較的小さなLLM(大規模言語モデル)を利用できるものだ。

 「LM Studio」を起動したら、左にある虫メガネアイコン(Discover)をクリック。ここからLLMを検索できる。「DeepSeek-R1」は量子化(ファイルサイズを小さくし、処理を効率化できる)を施したものでも約350GBあるのが確認できた。まだまだ大きすぎる。

「DeepSeek-R1」本体は量子化してもお話しにならないサイズ

 蒸留モデルはいくつか用意されており、そのうち「DeepSeek-R1 Distill Qwen 7B」や「DeepSeek-R1 Distill Llama 8B」あたりだと、4bit量子化したもので5GB前後となる。メモリ16GBのPCで扱うには頃合いのサイズだ。検索結果から各モデルを選び、右下の[Download]ボタンをクリック。

蒸留モデルであれば、数GBまでコンパクトになっているものもある

 ダウンロードが完了したら、左にあるチャットアイコン(Chat)をクリックし、画面上部にある[Select a model to load]をクリックして、リストからダウンロードしたLLMを選択する。今回は「DeepSeek-R1 Distill Qwen 7B」から試してみた。読み込みにはLLMのサイズに応じて、数秒から数十秒程度かかる。

ダウンロードした蒸留モデルを読み込む

 読み込みが終わったら、画面下部のウインドウにテキストを入力する。「日本語は話せますか」と書いたところ、「はい、日本語で話します。」という返答が。ただその後は日本語ではない文字が出てきたりもする。

日本語で尋ねると、日本語で返してくる。ただ精度はいまいち

 続けて「窓の杜について教えて」と聞くと、全く異なる情報をそれっぽく書いてきた。どうやらこのLLMは窓の杜のことは知らないようだ。また日本語も使われない部分が多く、英語や中国語がかなり混じった。

英語と中国語混じりの日本語になってしまった

 このあたりは「DeepSeek-R1」が悪いわけではない。「DeepSeek-R1」は日本語に特化しているわけではないし、ましてやデータ量が大幅に削減された蒸留モデルなので、日本語がうまくなかったり、知識が足りなかったりするのは仕方ない。

 LLMを「DeepSeek-R1 Distill Llama 8B」に変えると、日本語は割と正確に出力するようになったが、窓の杜についての情報は持っていなかった。

同じ蒸留モデルでも、日本語の扱い方は全然違う

 蒸留モデルはあくまで一部、いわばカケラのようなものであり、これをもって「DeepSeek-R1」のすごさを体感できるわけではない。しかしテキストの出力に至る前のAIの思考を重視し、比較的長めの思考時間を取ったり、その内容をユーザーが確認できたりして、従来のLLMとは違う部分も垣間見える。

 ちなみにローカルLLMで日本語チャットのすごさを体験したいのであれば、日本語に特化したLLMを利用するのがいい。例えばAxcxeptが開発した「EZO-Common-9B-gemma-2-it」は、16GBのメモリに収まる程度の容量でも、極めて流暢な日本語を操ってくれる。

窓の杜のことは知らなかったが、日本語は明らかに流暢

NPUの活用もいずれは……

 今回利用した「LM Studio」だが、ARM64版はあるものの、処理はほぼCPUが担当しており、GPUも使われていないように見える。本ソフトは以前、「ARM64版はNPUにも間もなく対応」と表明していたこともあり、筆者もNPUに対応してくれる日を待ち続けている(今はその文言が消えているので、何か別の意味だったのかもしれない……)。

今のところは残念ながらCPU処理のみ対応

 それでも数GB程度のLLMであれば、「Copilot+ PC」を含む一般的なPCでも動作可能だ。今回試した「DeepSeek-R1」の各蒸留モデルでも、秒間15~20トークンという速度でテキストが出力された。これはチャットボットとしてはかなり実用的かつ満足できる速度だ。

 「DeepSeek-R1」については、高性能・低価格である反面、利用規約で入出力データが中国に蓄積されるように読み取れる内容になっており、リスクもあるという声も多い。実際にどう利用するかは個人の自由だが、少なくともローカル実行できる範囲であれば情報漏洩の心配は格段に少なくて済む。

 日進月歩のAI業界を少しでもキャッチアップするくらいの気持ちで、「DeepSeek-R1」蒸留モデルを「LM Studio」で動かしてみてはいかがだろうか。

著者プロフィール:石田賀津男(いしだ かつお)

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』(インプレス)の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜では連載『初月100円! オススメGame Pass作品』、『週末ゲーム』などを執筆。

・著者Webサイト:https://ougi.net/