Chat with RTX

　「Chat with RTX」（NVIDIA ChatRTX）は、NVIDIAが開発した、Windows PC上でローカル動作するAIチャットボット。技術デモとして提供されており、GeForce RTX 30/40シリーズまたはNVIDIA RTX Ampere/Ada世代、かつVRAM 8GB以上のGPUを搭載したPCで利用できる。ダウンロードは無料だが、収録時現在、日本語には非対応。

　PC上のローカルデータを利用してパーソナライズ化したAIチャットボットを作成できるのが特徴。RAG（Retrieval-Augmented Generation）やNVIDIA RTXアクセラレーション技術を活用し、「Mistral」や「Llama 2」といったオープンソースの大規模言語モデル（LLM）に、ローカルに保存されているTXT、PDF、DOC/DOCX、XMLなど、さまざまなファイルをデータセットとして読み込ませることで、ユーザーの私的な質問に回答してくれる。

　クラウドを経由せず、ローカル上で処理するため、高速な回答を実現しているのもポイント。上記のファイル形式のほかにも、YouTubeの動画やプレイリストのURLを読み込むことも可能で、動画の内容に沿った質問をすることができる。