Nvidia 推出「Chat with RTX」（與 RTX 聊天）應用程式，這是一款適用於 Windows PC 的聊天機器人，由 TensorRT-LLM 提供支援。
Chat with RTX 支援多種文件格式，共包含文本、pdf、doc / docx 和 xml。用戶只需將應用程式指向包含文件的文件夾，Chat with RTX 就能快速的加載進庫中進行使用。
除此之外，用戶還可提供 YouTube 播放列表的 URL，Chat with RTX 會將其加載到播放列表中進行轉錄，用戶能夠查詢涵蓋的內容。
從 Nvidia 的介紹中瞭解到，用戶可通過不同的查詢，以 ChatGPT 相同的方式使用 Chat With RTX。但不同的地方在於，Chat with RTX 生成的結果完全基於特定數據集，更適用於生成摘要、快速搜尋檔案等操作。
Chat with RTX 支援 TensorRT-LLM 的 RTX GPU 的方式意味著將從本地使用所有數據和項目，這有利於節省時間並提供更精確的結果。
Nvidia 表示，TensorRT-LLM v0.6.0 性能提升 5 倍，將在本月晚些時候推出。屆時還將會支援其他 LLM，例如 Mistral 7B 和 Nemotron 3 8B。
Chat with RTX 的安裝需要一個本地化系統，需要至少 8GB RAM 的 GeForce RTX 30 和 40 GPU ，用戶無需上網便可使用。
