Los chatbots son una tecnología utilizada por millones de personas en todo el mundo y respaldada por servidores en la nube basados en GPU de NVIDIA. Ahora, estas innovadoras herramientas llegan a las PC locales con soporte para NVIDIA RTX en Windows, ofreciendo capacidades de inteligencia artificial productiva locales, rápidas y personalizadas.
Chat with RTX, disponible ahora de forma gratuita, es una demostración de tecnología que permite a los usuarios personalizar un chatbot utilizando su propio contenido. Esta aplicación requiere al menos una GPU NVIDIA GeForce RTX de la serie 30 integrada con al menos 8 GB de VRAM.
Pregunta al chat con RTX todo lo que quieras
Chat with RTX ofrece capacidades de inteligencia artificial productiva utilizando la generación con recuperación aumentada (RAG), el software NVIDIA TensorRT-LLM y las tecnologías de aceleración NVIDIA RTX mientras funciona localmente en las computadoras de los usuarios. Los usuarios pueden obtener respuestas relevantes al conectar rápidamente sus archivos locales con grandes modelos de lenguaje de código abierto. Por ejemplo, cuando haces una pregunta como «¿Cuál es el restaurante recomendado en Las Vegas?», Chat with RTX escanea esta información en archivos locales y te proporciona la respuesta contextualizada.
Esta herramienta admite varios formatos de archivo, como .txt, .pdf, .doc/.docx y .xml, y analiza rápidamente estos archivos cuando los usuarios los dirigen a una carpeta.
Además, los usuarios pueden agregar información desde videos de YouTube y listas de reproducción. Agregar una URL de video permite a los usuarios integrar esa información en sus consultas. Por ejemplo, puedes hacer consultas basadas en el contenido de tus videos favoritos para obtener recomendaciones de viaje.
Chat with RTX funciona localmente en computadoras y estaciones de trabajo con Windows RTX, lo que significa que los resultados proporcionados son rápidos y los datos del usuario permanecen en el dispositivo. Esto elimina la necesidad de depender de servicios en la nube o compartir datos sensibles.
El chat con RTX demuestra el potencial de acelerar los LLM con GPU RTX. Los desarrolladores pueden aprovechar el proyecto de referencia del desarrollador TensorRT-LLM RAG disponible en GitHub para desarrollar y distribuir sus propias aplicaciones basadas en RAG aceleradas por TensorRT-LLM para RTX.
Para utilizar Chat with RTX se requiere una GPU NVIDIA GeForce RTX de la serie 30 o superior con al menos 8 GB de VRAM, Windows 10 o 11 y los controladores de GPU NVIDIA más recientes.