使ってわかるCopilot+ PC

第106回

Snapdragon XのNPUでチャットAIが動く! Qualcomm向けAI実行環境「GenieX」を試してみた

「GenieX」の公式サイト

NPUでチャットAIを使ってみる

 AI専用チップのNPUが搭載されたなら、NPUを使ってローカルAIを動かしてみたい。AIといえば「ChatGPT」を始めとしたチャットAIのことを指すような現代なら、誰もがそう考えるはずだ。

 本連載でもこれまで何度かNPUを使ったチャットAIをテストしてきたが、なかなかうまくいかなかったり、扱いが難しかったりしてハードルが高かった。ただ最近は新たなツールの登場によって、また少し使いやすくなってきている。

 Snapdragon Xに搭載されたNPUを活用してチャットAIを動かす方法を改めて調べてみたところ、新たに「GenieX」というツールが誕生していた。Qualcommプラットフォーム向けに作られた生成AI推論ランタイムである。

Qualcommに特化したAIと、汎用性の高いAIのランタイムを両方搭載

 「GenieX」は、Qualcomm製チップに最適化されたAIモデルを提供する「Qualcomm AI Hub」に対応しているのが特徴。Qualcomm向けに特化した「Qualcomm AI Runtime(QAIRT)」と、汎用的に使われているGGUFモデルを動かせる「llama.cpp」という2つのランタイムを搭載している。

 Qualcomm AI Hubで提供されているモデルは、Hexagon NPU上のQualcomm AI Engine Directで最適に実行されるため、高いパフォーマンスを発揮できる。これに対してGGUFモデルは、llama.cppを介して動作するが、CPUやGPUだけでなくNPUも使われる。

 AIモデルは各ランタイムに対応する形で作られる必要があるため、あらゆるAIモデルがQAIRTに対応しているわけではない。数で言えばGGUFモデルの方が圧倒的に多く、最新のモデルも見つけやすい。「GenieX」は、その両方をQualcommプラットフォームでいいとこ取りするツールというわけだ。

 Qualcomm AI Hubで配布されているモデルは検索して探せる。公式サイトのモデル検索ページで、左のタブにある項目から[Runtime]-[GenieX]-[GenieX - QAIRT]を選択すれば、QAIRT向けのAIモデルを調べられる。本稿執筆時点では17モデルが見つかる。

執筆時点で利用できるQAIRT対応AIモデル

 「GenieX」の本体は、GitHubからダウンロードできる。ページ中ほどにある[Quickstart]の項目に書かれている通りの手順で、CLIをインストールする。

 今回はSnapdragon X環境なので、Windows ARM64版を利用する。[CLI]の項目にある[Docs]に、[Install]というリンクがあるのでクリック。[CLI Install]のページが開くので、[Download]にある「GenieX CLI installer」をダウンロードし、インストールする。

[Docs]にある[Install]のリンクをクリック
「GenieX CLI installer」からダウンロード

 あとはそのページに書かれているとおり、「PowerShell」を起動して、「GenieX」のPathを通す。

Set-Alias geniex (where.exe geniex)

 そしてhelpを呼び出して動作確認する。ここまでできたら準備完了だ。

geniex --help
Pathを通せば準備完了

実際にローカルAIとチャットしてみる

 「GenieX」のCLIがインストールされると、デスクトップに「GenieX CLI」のアイコンが表示される。これをダブルクリックすると、「PowerShell」が開き、「GenieX」をインストールしたフォルダーに移動済みの状態になる(これならPathを通す必要はない気もするが)。

 CLIという名前のとおり、コマンドラインでの実行となる。そう難しいことはなく、AIとチャットするために使用するコマンドは2つだけだ。まずはAIモデルのダウンロード。

geniex pull ai-hub-models/Qwen3-4B-Instruct-2507

 これは「GenieX」で、Qualcomm AI HubにあるAIモデル(ai-hub-models)の中から、「Qwen3-4B-Instruct-2507」というAIモデルをダウンロード(pull)する、というコマンド。実行すると、AIモデルのダウンロードが始まるので、終わったら実行に移る。

コマンドを入れるとダウンロードが始まる。AIモデルサイズは3.2GBだった
geniex infer ai-hub-models/Qwen3-4B-Instruct-2507

 ダウンロードしたAIモデル「Qwen3-4B-Instruct-2507」を用いて推論(inference)する、というコマンドだ。コマンド的にはpullがinferに変わっただけで、とてもわかりやすい。AIモデルの読み込みが行われ、終わるとチャット入力待ち状態になる。

AIモデルは数GBと大きいので、読み込みにも少し時間がかかる。この画面になればチャット入力待ちの状態

 早速、話をしてみると、きちんと日本語で返答してくれた。ただ、会話のスピードはとても遅く、1秒間に1文字出るかどうかという程度だ。この時、「タスク マネージャー」でパフォーマンスを見ると、NPUとCPUの双方を少しだけ使っているのがわかる。

回答内容は良いのだが、CPUとNPUを僅かだけ使って回答し、出力がものすごく遅い

 これはメモリが足りずパフォーマンスを発揮できない状態なのかもしれない。そこで「Qwen3-1.7B」という、さきほどの半分以下のサイズのAIモデルで再挑戦してみたこちらは日本語で返答でき、しかも実用的な速度で回答してくれたが、すぐに意味不明な回答のループに陥ってしまう。

小型のAIモデルに変えると出力は相当速くなったが、チャットがすぐ破綻する

 さらに、「ai-hub-models」ではなく、GoogleのGGUFモデル「google/gemma-4-E4B-it-qat-q4_0-gguf」も試してみた。コマンドは上と同じで、AIモデル名を変えるだけでいい。

 日本語で話しかけると、こちらの意図を理解しない英文が並び、会話にならなかった。「GenieX」の説明によると、llama.cppで動かすGGUFモデルもNPUは活用しているそうで、確かに推論中にNPUが使われているのを確認できた。

評判のいいGoogleの「Gemma 4」も試してみたが、残念ながら思ったようには動かず

 結果として、まともに会話できるAIモデルが見当たらない状態ではあるのだが、これはテスト環境のメモリが16GBと少なかったことも影響していそうだ。32GB搭載機であれば、もっと大型のAIモデルがうまく動いてくれるかもしれない。

 性能的に満足できる状態ではないものの、「GenieX」でSnapdragon XのNPUを使ってAIチャットができる土台が整ったことはわかった。「Qualcomm AI Hub」は基本的に開発者向けのサービスで、一般ユーザー向けではないのだが、もう少し待てば一般向けにも出せるものができそうな段階までは来ていると思う。

 ちなみにCLIを使いたくないという方には、他の方法もある。こちらは次回ご紹介したい。

著者プロフィール:石田賀津男(いしだ かつお)

1977年生まれ、滋賀県出身

ゲーム専門誌『GAME Watch』(インプレス)の記者を経てフリージャーナリスト。ゲーム等のエンターテイメントと、PC・スマホ・ネットワーク等のIT系にまたがる分野を中心に幅広く執筆中。1990年代からのオンラインゲーマー。窓の杜で連載『石田賀津男の『酒の肴にPCゲーム』』(AKIBA PC Hotline!に移動)、『使ってわかるCopilot+ PC』などを執筆。

・著者Webサイト:https://ougi.net/