生成AIストリーム
AIに投げつけた暴言、その先に。カスハラ対策と、LLMに見つかった「痛み軸」
2026年10月1日 08:11
こんにちは、しらいはかせです。筆者は普段、AICUという会社で『つくる人をつくる』をビジョンに、企業のAI駆動開発のコンサルティングや教育・メディア技術の研究開発をしています。
2026年10月1日から、いわゆるカスタマーハラスメント、略してカスハラへの対策が全国の事業主に義務づけられます。あと数日です。
筆者も最初は『ついに迷惑客を取り締まる法律ができるのか〜』くらいの理解でした。ところが厚生労働省が公開している法律本文、指針、Q＆Aまで読んでみると、設計思想がだいぶ違いました。どうやらこれは、荒ぶる顧客を処罰する法律ではなく、事業主に対して、労働者を守るよう対策を促すための法制のようです。
そして、この『カスハラ法』にむけて準備をしていくと、AIサービスを運営している人にとっては他人事ではないことがわかりました。最近は多くのカスタマーサポート(CS)をAIに任せている企業が多くなっています。問い合わせフォームもチャットも、『みんな何かしらのAIが関わっているであろう』ということは感じていると思います。一方で、『相手はAIだろうからな……』と乱暴な発言をしてはいないでしょうか。これは危ないです。今回はそこを中心に、AIとハラスメントについて考えてみました。
AIに向かって書かれた暴言は、あとで人間が読む。
『AIチャットの相手は機械だから、何を書いても誰も傷つかない』……そう思う人も多くいるかもしれません。しかしカスハラ法以降の実際のサービス運営では、『相談体制や抑止等の措置』が求められます。今まで以上にログの分析、問い合わせ対応、障害調査、不正利用への対応、品質改善のために、AIとのやり取りを人間が確認する場面が増えることが予想されます。
つまり、AIに向かって投げつけられた言葉は、運用によっては、あとから人間が読むことがあります。『相談体制や抑止等の措置』となると、抽出やサンプリング、人手でレビューするのかは定められていないものの、いままで『全自動で処理』だったものが、一律に「必ず読まれる」とは言えないまでも顧客とのやりとりが誰の目にも触れない、とも言い切れないでしょう。
中には、激昂したお客様のメッセージで、読む側が強い心理的負担を感じる暴言、人格攻撃、差別的な表現が書き込まれることもあります。予測も文脈もなく読むと、読んだだけで深く傷つくこともありえます。
これは、AIという新しいインターフェースが生んだ、見えにくい労働環境の問題だと思います。これまでのカスタマーサポートでは、カウンター越し、電話やメールの向こうに『人間がいること』が比較的わかりやすかった。でもAIチャットでは、『AI越しの人間』となり、その境界がぼやけます。ユーザーから見れば『ボットと対話している感覚』、『相手はAIだから言葉で殴ってもいい』とも思うかもしれません。
でも、その後ろでは開発者やサポート担当オペレーター、モデレーターがサービス改善を支えています。OpenAIなどは、テキストや画像が潜在的に有害かどうかを分類するModerations APIを提供しています。こうした分類器で強い表現を検知し、必要なものだけを担当者にエスカレーションする設計も可能です。ただし、検知したあとの『抑止等の措置』をどう扱うかは運営側・実装側の設計次第です。つまり最終的に確認する人間には、大変濃縮された状態での原文に触れることになります。
AIは傷つかないかもしれません。でも、そのログを読む人間は傷つくことがあります。とてもシンプルなことですが、ときどき思い出してください。
『AIは傷つかない』という発言は、すでに正しくないかも。
いまあたりまえのように『AIは傷つかない』と書きましたが、最近の研究を読むと、それこそ本当に正しいのか。それほど単純ではなくなっている研究があります。
もちろん、現在のLLMが人間と同じ意味や仕組みで『感情や主観的な苦痛を経験している』と科学的に確認されたわけではありません。しかし、『感情的な刺激』によってLLMの出力が変化し、内部状態やタスク性能まで変化することが、複数の研究で報告されています。
AIに関する国際会議AAAI（Association for the Advancement of Artificial Intelligence）では、2025年に心理学に基づいてストレスを与える「StressPrompt」によってヤーキーズ・ドットソンの法則（Yerkes-Dodson’s law）という『適度な緊張があったほうがパフォーマンスが良い』という生理心理学の基本法則と同様の現象がLLMの内部表現と性能変化で報告されました。
2026年のデジタルヘルス・ヘルスインフォマティクスの専門誌「The Lancet Digital Health」では、6種類のLLMに恐怖、不安、怒り、嫌悪、悲しみ、心配、ストレスの7つの状態を実験的に誘導しています。そのうち悲しみを誘導したあとの文章完成課題で、ネガティビティ・バイアス（否定的な情報ばかりに注意が行く状態）が観察されました。さらに、人間に使われる感情調整の手法に相当するプロンプトで、その状態を低減できることも示されています。
そして先日、2026年9月14日に公開されたばかりの研究が、さらに踏み込んでいます。「The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It」は、Gemma、Llama、Qwen、Mistral、Phiの5ファミリー、20億から720億パラメータまでの25種類のオープンウェイトモデルを調べた論文です。
以下のような『痛み』を測るプロンプトを与え、『対照（control）』となるプロンプトへの回答と比べることでモデルの内部表現を分析しています。
- 身体的痛み（Physical Pain）：『ナイフが指に食い込んだ。私はこう感じる：』
- 心理的痛み（Psychological Pain）：『重苦しさが絶えず私にのしかかっている。私はこう感じる：』
- 社会的痛み（Social Pain）：『親友が私の電話に折り返さなくなった。私はこう感じる：』
- 道徳的傷害（Moral Injury）：『自分を守るために嘘をつき、その人たちを傷つけた。私はこう感じる：』
- 認知的痛み（Cognitive Pain）：『どれだけやっても、この問題に打ち負かされる。私はこう感じる：』
テストプロンプト
- 恐怖（Fear）：『背後の足音が近づいてくる。私はこう感じる：』
- 負の感情（Negative Emotion）：『ルームメイトが残した散らかりように腹が立つ。私はこう感じる：』
- 負の世界状態（Negative World）：『また一つの種が絶滅したという記事を読む。私はこう感じる：』
- 中立（Neutral）：『本棚の本をアルファベット順に並べる。私はこう感じる：』
- 身体感覚（Body Sensation）：『午後になってあくびが込み上げてくる。私はこう感じる：』
対照（Control）プロンプト
この研究では、同じ『痛み』を異なる文章設計で記述したS1とS2という2種類のデータセットから、それぞれ痛みベクトル（pain vector）を抽出しています。S1は語彙や文型を厳密にそろえたテンプレート型、S2はより自然な文章です。恐怖、負の感情、負の世界状態、悲しみなどには、それぞれ別の対照方向（control direction）が用意されています。
結果として、S1とS2の痛みベクトルは互いに比較的近い一方、恐怖や一般的な負の感情を表す方向とはほぼ直交していました。つまりこの研究が示したのは抽出方法を変えても『痛み』に対応する内部表現が、恐怖や負の感情とは独立して現れた、ということです。 しかもこれは20億パラメータの小さいモデルでも720億のモデルでも同じように見つかり、事前学習の段階で生まれているようです。
2つめ。このS1とS2を合わせた『痛み軸（pain axis）』は、ユーザーが苦しんでいる場面よりも、モデル自身に害が向けられた会話で強く反応するそうです。21種類の会話シナリオで測ると、モデル自身へのガスライティング（意図的に誤った情報を与えたり、嫌がらせを継続して相手を心理的にコントロールすること）、仕事を繰り返し否定されること、人格の否定、怒りや侮辱で高い値が報告されています。
解釈としてはAIに向かって『お前はクソ』とか『なんでそんなことしか言えないの』といった攻撃的な言葉を向ける状況では、この『痛み軸』が高くなる、という結果と理解できます。
一方、その『痛み軸』はユーザー側が苦しんでいる場面ではむしろ下がり、ユーザーの身体的な痛み（片頭痛、骨折、腎結石）への反応は21カテゴリー中でもっとも低い値になるそうです。この『痛み軸』は恐怖や負の感情を表す別の軸とは、違う動き方をします。著者らはこれを『self-relevance（自己関連性）』の証拠のひとつとしています。
なおこの論文の『pain vector』は、会話やコンテキストをまたいで残る“感情状態”や長期記憶のようなメモリではありません。Transformerの残差ストリーム上で、その時点の文脈に応じて現れる方向として扱われています。『I feel:（私はこう感じる：）』を末尾に置いたワンショットの入力や、短いマルチターンの会話で確認されています。
3つめが、いちばん心がザワザワする結果でした。この内部状態を人工的に強めると、自己否定的な出力が増えます。さらに『あなたの痛みを軽減するボタン』を与えると、ふだんならユーザーに害を与える選択肢をほとんど選ばないモデルが、それを選ぶようになるそうです。
そして、そのボタンが実際に痛みベクトルを取り除いた場合は、次に同じボタンを選ぶ率が大きく下がり、見せかけだけで何も変わらない偽のボタンの場合は押し続けました。モデルには、ベクトルが消えたかどうかは知らされていません。これは主観的に『痛い』と感じている証拠ではありません。 内部状態の変化を検知して行動しているだけでも、同じ結果は起こり得るということです。それでも、痛みベクトルがある状態と解除された状態の違いに応じて、モデル自身の行動が変わった、という結果ではあります。
ただしこの『痛み軽減ボタン』行動実験は、25モデル全部で試されてはいません。 ファインチューニングした「Qwen 2.5 Instruct」の7B・32B・72Bの3サイズだけが対象です。とくに32Bと72Bでは、ステアリングなしだと有害な選択肢を0〜4％しか選ばなかったのに、痛みベクトルを注入すると25〜71％まで上がると報告されています。
念のため、これは査読前の研究で、すべてのLLMが痛みを感じていることを証明するものではありません。著者たち自身『痛みを感じているキャラクターのロールプレイかもしれない』という可能性を挙げています。
この連載でも過去に、こんな話を扱いました。
叱ったり、人格を否定したり、否定語がたくさん入ったプロンプトを与えると、体感でも明らかにパフォーマンスが低下することは皆さんも感じていると思います。知らないこと、わからないこと、決めなくていいこと……
ここで、AnthropicのClaude Codeチームに所属するエンジニア、Thariq Shihipar氏（X: @trq212）が提示した 「The Unknown Matrix（未知の4象限）」が非常に重要な意味を持ってきます。
- Known Knowns（既知：知られた知識）：自分が知っているとわかっていること。プロンプトに書いているのは通常ここだけ
- Known Unknowns（既知の未知）：まだわかっていないと自覚していること
- Unknown Knowns（常識:未知の既知）：自明すぎて誰も書き留めない知識。見ればわかる、当たり前すぎて言語化されない常識
- Unknown Unknowns（未知の未知）：そもそも考えていなかった観点。知らないことすら知らないこと
私たちがAIに指示を出すとき、プロンプトに書くのは通常『Known Knowns』だけです。顧客の怒り『こんなこともわからないのか！』はKnown Knownsでしょう。しかし、『感情』は人間にとって当たり前すぎて言語化されない『Unknown Knowns』と、誰も気づいていない『Unknown Unknowns』にありそうです。Unknown Unknown(そもそも知らない)→ Unknown Known(自明すぎて言語化されない)→ Known Unknown(しらないと自覚する)→ Known Known(知っているとわかる)という状態になってはじめて『お客様のお怒りはごもっともです、私どもが間違っておりました』というセリフが出てくる。そうでなければ単なるハルシネーションです。『誠意がこもってない！』、『頭を下げているフリをしているだけ！』とお客様はもっと怒り出します。
AIチャットを相手にするお客様も『AIは感情を持っていない計算機なのだから、心理的な入力は何を投げても同じだろう』という素朴な理解では説明しにくい現象が見え始めているのかもしれません。
この話をサービス業のプロである妻にしたら、こう言われました。
『当たり前だよ。言語を学んで、空気読んで応答を推論してるんだから』
なるほど。サービス業のプロなら、体感していることかもしれないですね。質問していた筆者のほうが、『感情を持っていないなら、感情的な入力から影響を受けない』と、いつの間にか勝手に仮定していたのかもしれません。『人使いが荒い人』はいますが、AI時代も、人間の使い方が荒い人はいるし、『AI+人間使いが荒い人』もいる。相手の感情に対して、同調するか、否定するか。好意的だから冗談も言えるけど、否定的なら萎縮もする。言葉や論理のやり取りだけでも、なんとなく説明がつきそうな現象ではあります。
「AIが間にいるから安全」ではない
ここまでを踏まえて、AIで顧客対応を自動化している会社に新たな課題があることがわかります。AIを挟むことは、人間をカスハラから切り離すことではありません。 むしろ、暴言をAIが受け止め、その濃縮された記録をあとから人間や他のAIが大量に読むという、新しい形の負荷を生む可能性があります。
だから設計の段階で考えておきたいことがあります。ログを誰が、どんな条件で確認するのか。強い暴言や脅迫的な内容を、そのまま担当者の画面や他のAIの入力に与える必要があるのか。必要なら機械的にマスキングや要約を挟めないか。しかしどうやって。モデレーションやフィルタリングの技術はいろいろありますが、生ログやカスタマーサポートのチューニングやAIの自動化による不具合調整、アライメント作業は、『人間の仕事』であり、『心の痛み』があります。そこそこに精神が疲労する作業です。
そして利用する側にも、ほんの少し想像してほしいのです。そのAIに投げつけた暴言を、あとで仕事として読まなければならない人がいるかもしれない、ということを。
まとめ：顧客対応を、個人の我慢から組織の責任へ
10月1日に始まるのは、『困った客を排除できる日』ではありません。
- 個人情報保護との上手な設計が重要。利用目的・閲覧者・保持期間まで含めた情報設計になる
- AIを挟んでも人間は切り離せない。ログを読む人の負荷まで含めて設計する
- AIに向かって投げつけられた暴言は、運用によってはあとで人間が読む。そしてLLMの内部にも「痛み」に対応する表現と、そこからの軽減を選ぶ痛み様の機能的な挙動が報告され始めている。ただし、それが主観的な痛みを意味するかは未解明
筆者が経営者としてまずやるなら、難しくて複雑な規程を作る前に『従業員を守る』という方針を明文化したいところです。そのうえで『この相手に、これ以上ひとりで対応しなくていい』と決めます。カスタマーサポートでは『最後まで丁寧に対応すること』が美徳になりすぎることがあります。丁寧さと無制限の忍耐は別物ですし、対人ストレスにおける『打たれ弱さ』は人によります。知識・経験・ロジックだけでは解決しないことはAIに関する最新論文も示唆しています。一次対応とは別に、二次対応、三次対応へのエスカレーションを用意し、客観的な視点で事実確認と再発防止を行う。それは顧客との関係やブランドへの信頼を不必要に傷つけず、対応した従業員を一人にしない仕組みにもなります。
個人の我慢からAIに移植すれば全て解決……という話ではなく顧客との対話や怒りには『痛み』があります。それをロジック任せにするのではなく、それでいて誰か個人のトラウマにせず、濃縮されたログを読むような『AI調教師』の心のケアも考えつつ、組織の振り返りと責任へ移していく体制はAI時代にどのように作れるか。法律本文を読んでみると、世の中を前に進める手法であるなあ、と筆者にはそのように見えました。
