LLMをノートPCで動かしたら結構動く！とってもプライベートな相談をしまくってみた

まずは使うモデルを選んでみよう！基本は「緑」から

　「LM Studio」ではPCが搭載しているGPUで動作するモデルは緑色、CPUも併用することで動作するモデルは青色で表示される。モデルが大きすぎで動かない場合は赤色になっているので、わかりやすい。GPUを一部しか利用しない場合は動作が遅くなるので、基本的には緑色になっているモデルを利用していく。

　例えば、「microsoft/Phi-3-mini-4k-instruct.gguf」をクリックすると、右側に2つのモデルファイルが表示される。Q4となっている方のサイズは2.39GBで、GPU動作が可能。FP16となっている方は7.64GBでGPUの一部利用となっている。今回は、動作の違いを確認するために両方ダウンロードしておく。

GPU動作可能なモデルは緑色、一部動作するモデルは青色表示となっている。

動作しないモデルは赤色になっている。

　画面上部のプルダウンメニューからダウンロードしたモデルを選び、「USER」の欄にプロンプトを入力すればいい。日本語でやり取りしたいなら、右側の「SYSTEM Prompt」に「あなたは日本語を話すコンシェルジュです」のように指示を入れておけばいい。英語で入力しておくとさらに効果が高まる傾向にある。

人に聞かれたくない話をAIに………

　さて、せっかくのローカル動作なのだから、人に聞かれたくない話を入れてみよう。意中の相手を誘ったのに断られたので、次の手を教えてもらう、というストーリで入力してみる。

　普通に文章で入力したところ、でたらめな回答が返ってきた。プロンプトがわかりにくかったのだろうか。そこで、AIにわかりやすいように、構造化して明確に指示してみると、わずかに理解度が高まった。とは言え、ちょっとレベルが低い。

【普通に語りかけたら、返答がおかしい？】

　サイズの大きいf16に同じ質問をしたところ、彼女がストレスを抱えているかもしれないので支えてみる、食事を再提案する、といった内容が返ってきた。少しはましになっているものの、ちょっとこちらがストレスを感じてしまうレベルだ。しかも、GPUを一部しか使えていないので、動作が遅い。

【大きいサイズのモデルに入力したら少しましになった】

　ちなみに、英語でプロンプトを入力すると、Q4モデルでも2000文字の出力が得られた。6パターンの対応策が提示され、それぞれのアドバイスもしてくれた。

　例えば、恋愛感情を目立たせないようにしたうえで良好な職場関係を維持しようとか、休憩時間やチームイベント中に会話して共通の趣味を見つけよう、などとレベルが高い。「ただし、仕事上の境界線は守れ」とか「距離を置くことでそれ以上遠ざからないようにする」といった厳しい意見もあり、いい感じだった。

　一般的なモデルは主に英語でトレーニングされており、日本語が弱い傾向にある。英語が堪能であれば、英語でやり取りするほうがよいだろう。

【英語ならちゃんとしたアドバイスが返ってきた】

まずは恋愛相談を……

　「LM Studio」で「swallow」と検索し、「Llama-3-Swallow-8B-instruct-v0.1」をダウンロード。チャット画面でモデルを選択し、先ほどと同じ質問をしてみた。

GPU動作するQ5をダウンロードした。サイズは5.73GB。

　想像以上にきちんとしたアドバイスが返ってきた。無理にユーザーの要望に応えず、自分自身を磨け、健康でいろ、といった指示をしているのがすごい。生成スピードも「ChatGPT」などのクラウドサービスと比べて圧倒的に速いので快適にやり取りできる。これは、「AORUS 16X (2024)」の性能のおかげだ。

秘密のビジネスアイデアを壁打ちしてもらった

　次に、ビジネスの相談をしてみる。誰にも言えない新規事業立案の壁打ち相手になってもらおう。

　「海にウイスキーを沈めて熟成させると美味しくなることを発見したので、誰にも内緒で新規事業を立ち上げたい」と相談。すると、懸念点や初動、販売戦略までアドバイスをしてくれた。

　対応済みの項目があれば、返答して会話を続行できる。予算はないけどマーケティング施策を考えてくれとか、あらかじめリスクを把握しておきたい、といった指示にきちんと回答してくれる。

　時々、クオリティの低い回答が出ることもあるが、そんな時は「Regenerate」ボタンをクリックすれば再生成される。ローカルで動作しているので、利用回数に気兼ねなく「Regenerate」ボタンを連打できるのがありがたい。

新規事業を考えるときに深堀するため話し相手になってもらう。

会話を続けて、マーケティング施策まで考えてもらう。

誰にも見せられない決算データを入れて相談……

　ファイルをアップロードすることはできないが、前提となるデータを入れればAIが把握し、要約したり分析してもらうことはできる。

　例えば、まだ世に出していない決算内容を入力し、経営状況を分析させたり、株主に伝えるべきメッセージなどを聞くことも可能。株主からの厳しい質問を考えてもらい、あらかじめ回答を準備しておいてもいい。

　指示に対する回答は問題ないのだが、会話の中で突然泣き言を言ったりしても、「ChatGPT」のようにまともに取り合ってくれないこともある。コンパクトなAIモデルなのでこの辺りは仕方のないところ。

誰にも見せられない決算データを入れて分析させる。

株主への対応を聞くことも可能。

誰にも見せない「AIジャーナリング」でストレスを軽減、感情もスッキリ整理「ローカル動作」の使い方として流行るかも？

　また、筆者としては今後、ローカルで動作するAIが普及することで「ジャーナリング」のニーズが高まると考えている。

　ジャーナリングとは、自分の考えや感情、体験、目標などを定期的に書き留めることで、ストレスを軽減したり、感情の整理といったメリットがある。ノートなどに書けばいいのだが、それだと続かない、という人もいるだろう。その点、AIと会話するのであれば楽しく続けられる。何なら問題の解決案が見つかる可能性もある。ローカル動作するのであれば、外部への漏洩を気にする必要はなく、安心して利用できる。

　ジャーナリングの効果は想像より大きい。酔った勢いでSNSに投稿し、翌日書かなければよかった、と反省することがあるなら、ぜひジャーナリングを試して欲しい。ローカルのAIになら、何を言ってもOKなうえ、SNSに投稿する熱が冷めること請け合いだ。