ニュース
NVIDIA、クラウドではなくローカルで動作するAIチャットボット「Chat with RTX」を無償公開
各種ファイルやYouTubeの動画をもとにパーソナライズされた応答が可能
2024年2月14日 12:41
米NVIDIAは2月13日（現地時間）、ローカル環境で動作するAIチャットボットの技術デモ「Chat with RTX」を公開した。無料でダウンロード可能。執筆現在、日本語版デモはリリースされていない。
「Chat with RTX」は、ローカルのWindows PC上で動作する生成AI。GeForce RTX 30シリーズ以上かつ、8GB以上のVRAMのGPUを搭載したWindows 10/11のPCで利用できる。
Create A Personalized AI Chatbot with Chat With RTX
本技術デモは、Retrieval Augmented Generation（RAG）および、NVIDIA TensorRT-LLMソフトウェア、NVIDIA RTXアクセラレーション技術を活用し、「Mistral」「Llama 2」といったオープンソースの大規模言語モデル（LLM）に、ローカルに保存されているテキストファイルやPDFドキュメント、Word形式、XMLといったファイルを読み込ませ、それらのファイルの情報をもとにカスタマイズされた回答を得ることができるというもの。
YouTubeの動画やプレイリストからの情報を読み込むことができ、URLを指定することで動画の文脈に沿った質問を行うことができる。例えば、インフルエンサーの動画にもとづいたオススメの旅行先を尋ねられるという。
本技術デモの特徴としては、ローカルのPCで動作するため、結果が高速で表示される。また、クラウド型サービスのようにデータをアップロードする必要がないため、機密データの処理にも向いているとのこと。
