使ってわかるCopilot+ PC

第40回

Snapdragon XのNPUをフル稼働してLLMを動かせる「AnythingLLM」

無料、アカウント登録不要で「Llama 3.2 3B」や「Llama 3.1 8B」を実行可能

石田賀津男

2025年4月25日 15:51

「AnythingLLM」のメイン画面

NPUでLLMをしゃべらせる

　NPUを使ってLLMを動かす方法が少しずつ増えてきている。今回紹介する「AnythingLLM」は、最も簡単に導入できるNPU対応LLMツールの1つだ。

　導入方法は、公式サイトからソフトをダウンロードし、インストールするだけ。「The all-in-one AI Application」と銘打っており、無料で利用できることに加え、アカウント登録も不要であることがアピールされている。

　今回は「Snapdragon X」シリーズ搭載の「Copilot+ PC」でNPUを使用するため、ARM版をダウンロードした。ほかにx64版も用意されている。なお筆者の環境ではインストール時にSmartScreenによる警告が表示されたが、無視して実行した。

実際の動作は？

　ソフトを起動すると、最初にLLMの設定が表示される。［Search LLM providers］にはいくつかの項目が並んでおり、この中の［Qualcomm QNN］を選ぶ。「Snapdragon X」シリーズのNPUを使ってローカル処理する設定だ。

［Qualcomm QNN］がNPUを使用する項目となる

　さらに進めるとメールアドレスの入力などを求められるが、これは単なるアンケートであり、飛ばしても構わない。最後に、LLMを実行するための場所となるワークスペースの名前を付ければ、本ソフトのメイン画面へと移行する。

メールアドレスなどの情報はあくまでアンケートなので回答は必須ではない

適当なワークスペース名を付ける

　メイン画面では、先程名前を付けたワークスペースが左のリストに表示されているので、こちらをクリック。ここでメッセージを入力すると、LLMとチャットできる。ただしこの前に1つ設定が必要になる。

　画面左下にあるスパナのアイコンをクリックすると、設定画面に入る。ここで［AIプロバイダー］の項目の中にある［LLM］を選択。［LLMプロバイダー］が［Qualcomm QNN］になっていることを確認した上、その下にある［Chat Model Selection］の中から1つを選ぶ。

　本稿執筆時点で最新版となるv1.8.0では、［Llama 3.2 3B Chat 8K］と［Llama 3.1 8B Chat 8K］の2つが選べる。この2つがNPU対応ということだ。まずは容量が2.2GBと小さい［Llama 3.2 3B Chat 8K］を試してみる。クリックすると［Active］というアイコンが付き、ダウンロードが始まる。インストールまで完了したら、再び先程のワークスペースに戻ろう。

［Active］のアイコンが出て、ダウンロードが完了すればLLMとのチャットが可能

　メッセージを入力してみると、LLMからの返答があった。3Bパラメータという比較的小さなサイズであり、特に日本語に特化したものでもないため、いちおう日本語が話せるという程度。ただレスポンスは速く、NPUを使用して返答しているのも確認できる。

一応日本語で会話できているが、一部怪しい

　続いてより大きなサイズの［Llama 3.1 8B Chat 8K］も試してみる。こちらは日本語もかなり正確になり、会話は十分に成立する。知識的な面ではまだまだ不足しているが、高価なGPUを搭載したマシンでなくとも、NPUで快適にLLMが動作することが確かめられた。

日本語は少し良くなったが、知識はそこまで豊富ではなさそう

　試しに長文回答になるよう指示すると、NPUを長時間フルに使う様子が確認できた。CPU使用率はかなり低いままで、NPUを使ってLLMを処理しているのがはっきりわかる。

LLMの生成中はNPUをほぼフルに使用している

　なお［Llama 3.2 3B Chat 8K］はメモリを約4GB、［Llama 3.1 8B Chat 8K］は約6.5GB消費する。今回使用しているPCは搭載メモリ量が16GBで、ギリギリ収まっているという状態なので、より大規模なLLMを使用するにはもっと大容量なメモリが欲しい。今のところこの2つのモデルしか選べないのは、そういう点も考慮されているのかもしれない。

　ちなみに設定の［LLMプロバイダー］を［AnythingLLM］に変更すると、NPUが使えなくなる代わりに、マルチモーダルな［Llama 3.2 Vision 11B］なども選べるようになる。

設定を変えれば他のLLMも使用可能

　チャットウインドウでは、発言の再出力や修正、会話を別スレッドに分離（複製）といった機能も使える。また合成音声っぽさが強いものの、日本語音声によるテキスト読み上げもできる。設定ではシステムプロンプトの記述やLLMの創造性を変更するLLM温度など細かい設定も可能で、ローカルLLMを扱うツールとしてもなかなか充実している。

日本語音声での読み上げにも対応

より深い設定も触れる

著者プロフィール：石田賀津男（いしだかつお）

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』（インプレス）の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜では連載『初月100円！オススメGame Pass作品』、『週末ゲーム』などを執筆。

・著者Webサイト：https://ougi.net/

Amazonで購入

「Copilot+ PC」関連商品 Amazonで購入