生成AIなら「ゲーミングノートPC」!

LLMをノートPCで動かしたら結構動く!とってもプライベートな相談をしまくってみた

ローカル動作で漏洩の心配ナシ、恋愛相談、秘密のアイデア、気持ちが軽くなる「AIジャーナリング」まで……

「何でも聞いてね」相談事を聞いてくれるカウンセラーさんのイメージ画像(笑)。これもAIで制作した。手順は前回記事を参照

 高性能&大画面のGIGABYTE製ゲーミングノートPC「AORUS 16X (2024)」でAIを使い倒す本連載。前回は「Stable Diffusionで好みのハイクオリティ画像を生成しまくってみた」というテーマで画像生成AIを取り上げた。そこで、今回は テキストベースのLLM(大規模言語モデル)をローカル環境で動かして、AIとチャットしまくってみよう

 こちらも動作環境を自分で構築するのはハードルが高いので、「LM Studio」を利用して手軽に構築。WindowsやMac、Linux版が公開されており、「Hugging Face」で公開されているAIモデルをダウンロードして、GUIで利用できるのが特徴だ。

「AORUS 16X (2024)」。ハイパワーなCPUとGPUを搭載したGIGABYTEのゲーミングノートPCだ。画面は16インチ(2560×1600ピクセル)の超スリムベゼルで、重量は2.3kg。付属ソフト「GIGABYTE Control Center」では、性能や動作音のバランスを設定できるが、その中にはAI用設定である「AI Nexus」タブも用意されている。

 果たしてLLMは「AORUS 16X (2024)」のローカル環境で動作するのだろうか?

 今回の検証で使うのは、前回同様、Core i9-14900HXとGeForce RTX 4070を搭載したモデル(国内モデルの型番は「AORUS 16X ASG-63JPC65SP」)。メインメモリは32GB、ビデオメモリは8GBだ。

AORUS 16X (2024)のキーボード。バックライトを搭載しており、WASDキーは特によく光る
Copilotキーも搭載。7月下旬現在、このキーを搭載しているPCは意外と少ない
GeForce RTXとCore i9のエンブレム


マイクロソフト「Phi-3-mini」に恋愛相談してみる~まずは、「ローカルAI」のインストール~

 「LM Studio」のホームページからソフトをダウンロードして実行する。左側のアイコンで検索やチャット、インストール済みモデル一覧などの表示を切り替えられる。まずは、虫眼鏡アイコンをクリックして、AIのモデルファイルをダウンロードしよう。

「LM Studio」のホームページからソフトをダウンロードする。
「LM Studio」を起動する。

 LLMは数十億~数千億パラメータを利用して学習させているので規模が大きく、そのまま普通のPC上で動かすことはできない。そこで、量子化という処理を行い、コンパクトにしているのだ。モデル名に付いているQ2とかQ8というのが量子化のビット数を表している。数字が小さいほどサイズが小さいが、性能も低くなる。

 まずは、マイクロソフトが公開しているLLM「Phi-3-mini」を試してみよう。38億パラメータと軽いのに、評判がいい。「Phi-3-mini-128k-instruct-GGUF」で検索すると、複数のモデルファイルがヒットする。


まずは使うモデルを選んでみよう!基本は「緑」から

 「LM Studio」ではPCが搭載しているGPUで動作するモデルは緑色、CPUも併用することで動作するモデルは青色で表示される。モデルが大きすぎで動かない場合は赤色になっているので、わかりやすい。GPUを一部しか利用しない場合は動作が遅くなるので、基本的には緑色になっているモデルを利用していく。

 例えば、「microsoft/Phi-3-mini-4k-instruct.gguf」をクリックすると、右側に2つのモデルファイルが表示される。Q4となっている方のサイズは2.39GBで、GPU動作が可能。FP16となっている方は7.64GBでGPUの一部利用となっている。今回は、動作の違いを確認するために両方ダウンロードしておく。

GPU動作可能なモデルは緑色、一部動作するモデルは青色表示となっている。
動作しないモデルは赤色になっている。

 画面上部のプルダウンメニューからダウンロードしたモデルを選び、「USER」の欄にプロンプトを入力すればいい。日本語でやり取りしたいなら、右側の「SYSTEM Prompt」に「あなたは日本語を話すコンシェルジュです」のように指示を入れておけばいい。英語で入力しておくとさらに効果が高まる傾向にある。


人に聞かれたくない話をAIに………

 さて、せっかくのローカル動作なのだから、人に聞かれたくない話を入れてみよう。意中の相手を誘ったのに断られたので、次の手を教えてもらう、というストーリで入力してみる。

 普通に文章で入力したところ、でたらめな回答が返ってきた。プロンプトがわかりにくかったのだろうか。そこで、AIにわかりやすいように、構造化して明確に指示してみると、わずかに理解度が高まった。とは言え、ちょっとレベルが低い。

【普通に語りかけたら、返答がおかしい?】

 サイズの大きいf16に同じ質問をしたところ、彼女がストレスを抱えているかもしれないので支えてみる、食事を再提案する、といった内容が返ってきた。少しはましになっているものの、ちょっとこちらがストレスを感じてしまうレベルだ。しかも、GPUを一部しか使えていないので、動作が遅い。

【大きいサイズのモデルに入力したら少しましになった】

 ちなみに、英語でプロンプトを入力すると、Q4モデルでも2000文字の出力が得られた。6パターンの対応策が提示され、それぞれのアドバイスもしてくれた。

 例えば、恋愛感情を目立たせないようにしたうえで良好な職場関係を維持しようとか、休憩時間やチームイベント中に会話して共通の趣味を見つけよう、などとレベルが高い。「ただし、仕事上の境界線は守れ」とか「距離を置くことでそれ以上遠ざからないようにする」といった厳しい意見もあり、いい感じだった。

 一般的なモデルは主に英語でトレーニングされており、日本語が弱い傾向にある。英語が堪能であれば、英語でやり取りするほうがよいだろう。

【英語ならちゃんとしたアドバイスが返ってきた】


日本語を強化したメタ「Llama 3」も使ってみる

 色々なモデルを気軽に試せるのもローカル動作のメリット。

 そこで、次に試してみたのは東京工業大学と産総研の研究チームがリリースした「Llama-3-Swallow-8B-instruct-v0.1」。

 ベースになっているは、メタが今年4月に公開した高性能なLLM「Llama 3」で、性能には定評があるものの、日本語性能が弱いのがネック。そんな中、東京工業大学と産総研の研究チームが日本語で事前学習を行い、7月1日にリリースしたモデルが「Llama-3-Swallow-8B-instruct-v0.1」だ。


まずは恋愛相談を……

 「LM Studio」で「swallow」と検索し、「Llama-3-Swallow-8B-instruct-v0.1」をダウンロード。チャット画面でモデルを選択し、先ほどと同じ質問をしてみた。

GPU動作するQ5をダウンロードした。サイズは5.73GB。
■プロンプト

状況ー職場の同僚を好きになった。2回食事に誘った。どちらも予定があるといわれて断られた。
命令ー彼女を口説くための行動を具体的にアドバイスしてください

■出力

あなたは、2回彼女にデートに誘い、それぞれの場合、スケジュールがあると言われて拒絶されています。彼女との関係を進めるために、次のようなアクションをお勧めします。

1:彼女とのコミュニケーションを深める: 彼女に好感を持っていることを伝え、彼女の興味や嗜好についてもっと知りたいという姿勢を見せましょう。共通の話題を見つけて会話を楽しましょう。

2:もう一度デートに誘う: できるだけ具体的な日時と場所を選ぶことで、彼女のスケジュールに対する信頼を示すことをお勧めします。また、簡単なプレゼントや花などの小さなギフトを持ってきて、デートを特別なものとして感じてもらうことも重要です。

3:彼女に時間を与える: 人間関係はゆっくりと深めるのが一番の方法です。彼女とのコミュニケーションが徐々に進んでいるようであれば、彼女には時間を与えてあげることも大切です。

4:自分自身を磨く: 彼女にとってあなたが魅力的に映るようにするために、自分自身を常に磨くことをお勧めします。新しいスキルを学び、新しい経験を積み、健康でいることも重要です。

上記のアクションは、彼女との関係を進めるための基本的な戦略となります。あなたの状況によって適切なアクションが異なる場合がありますので、柔軟に対応してください。

 想像以上にきちんとしたアドバイスが返ってきた。無理にユーザーの要望に応えず、自分自身を磨け、健康でいろ、といった指示をしているのがすごい。生成スピードも「ChatGPT」などのクラウドサービスと比べて圧倒的に速いので快適にやり取りできる。これは、「AORUS 16X (2024)」の性能のおかげだ。


秘密のビジネスアイデアを壁打ちしてもらった

 次に、ビジネスの相談をしてみる。誰にも言えない新規事業立案の壁打ち相手になってもらおう。

 「海にウイスキーを沈めて熟成させると美味しくなることを発見したので、誰にも内緒で新規事業を立ち上げたい」と相談。すると、懸念点や初動、販売戦略までアドバイスをしてくれた。

 対応済みの項目があれば、返答して会話を続行できる。予算はないけどマーケティング施策を考えてくれとか、あらかじめリスクを把握しておきたい、といった指示にきちんと回答してくれる。

 時々、クオリティの低い回答が出ることもあるが、そんな時は「Regenerate」ボタンをクリックすれば再生成される。ローカルで動作しているので、利用回数に気兼ねなく「Regenerate」ボタンを連打できるのがありがたい。

新規事業を考えるときに深堀するため話し相手になってもらう。
会話を続けて、マーケティング施策まで考えてもらう。


誰にも見せられない決算データを入れて相談……

 ファイルをアップロードすることはできないが、前提となるデータを入れればAIが把握し、要約したり分析してもらうことはできる。

 例えば、まだ世に出していない決算内容を入力し、経営状況を分析させたり、株主に伝えるべきメッセージなどを聞くことも可能。株主からの厳しい質問を考えてもらい、あらかじめ回答を準備しておいてもいい。

 指示に対する回答は問題ないのだが、会話の中で突然泣き言を言ったりしても、「ChatGPT」のようにまともに取り合ってくれないこともある。コンパクトなAIモデルなのでこの辺りは仕方のないところ。

誰にも見せられない決算データを入れて分析させる。
株主への対応を聞くことも可能。


誰にも見せない「AIジャーナリング」でストレスを軽減、感情もスッキリ整理「ローカル動作」の使い方として流行るかも?

 また、筆者としては今後、ローカルで動作するAIが普及することで「ジャーナリング」のニーズが高まると考えている。

 ジャーナリングとは、自分の考えや感情、体験、目標などを定期的に書き留めることで、ストレスを軽減したり、感情の整理といったメリットがある。ノートなどに書けばいいのだが、それだと続かない、という人もいるだろう。その点、AIと会話するのであれば楽しく続けられる。何なら問題の解決案が見つかる可能性もある。ローカル動作するのであれば、外部への漏洩を気にする必要はなく、安心して利用できる。

 ジャーナリングの効果は想像より大きい。酔った勢いでSNSに投稿し、翌日書かなければよかった、と反省することがあるなら、ぜひジャーナリングを試して欲しい。ローカルのAIになら、何を言ってもOKなうえ、SNSに投稿する熱が冷めること請け合いだ。


画像生成だけじゃない「AI」をがっちり活用できる「AORUS 16X (2024)」

 以上が、LM Studioで色々なAIに他言無用のプライベートな相談事をしまくってみたレビューとなる。

 「AORUS 16X (2024)」のハイパワーで実用的なレベルの生成AIをローカルで使いまくれたのは快適だった。

 クラウドのAIサービスよりレスポンスがいいので、次々と入力できるし、再生成させるのも苦にならない。ローカルでAIを使う、というと画像生成が話題になることが多いが、「AORUS 16X (2024)」ならテキスト生成もできる。AIも快適に利用できるパワフルなマシンを探しているなら、AORUS 16X (2024)を検討することをお勧めする。

【おまけ】
前回の記事で「画像生成ガチャ」を紹介したが、冒頭のお姉さんもそのようにして生成したもの。上記は別パターンだが、とにかく沢山の画像から「ベスト」を選べるのは楽しい
【生成AIなら「ゲーミングノートPC」!】記事一覧

【1】「画像生成ガチャ」をゲーミングPCでやってみた!
【2】ノートPCでLLMを動作!とってもプライベートな相談をしまくってみた
【3】あの「Copilotキー」は結構使える! AIも使える超高性能PCを仕事でも使ってみた!