NVIDIA ha lanzado una aplicación ‘demo’ llamada «Chat with RTX», que permite a los usuarios ejecutar un chatbot de inteligencia artificial (IA) personal en sus computadores. Esta herramienta está diseñada para funcionar localmente, sin necesidad de enviar datos a la nube, lo que promete una experiencia más segura y personalizada.
Chat with RTX es compatible con las tarjetas gráficas RTX 30 y 40 Series de NVIDIA, requiriendo un mínimo de 8 GB de VRAM para su funcionamiento. La aplicación, que corre sobre Windows 11, utiliza técnicas avanzadas como la generación aumentada por recuperación (RAG), TensorRT-LLM y la aceleración RTX para crear un modelo de lenguaje grande de GPT personalizado basado en el contenido único del usuario.
El chatbot permite a los usuarios hacer consultas con videos de YouTube y documentos para crear resúmenes y obtener respuestas relevantes basadas en sus propios datos. Esta capacidad de personalización se extiende a la posibilidad de conectar la IA a documentos, archivos y notas, lo que permite ejecutar consultas específicas y obtener respuestas contextualizadas. NVIDIA ha colaborado con la startup de IA Mistral para utilizar su modelo de código abierto como predeterminado, aunque Chat with RTX también es compatible con otros modelos basados en texto, incluyendo Llama 2 de Meta.
Innovación y limitaciones de Chat with RTX
A pesar de su promesa de una interacción local, la herramienta enfrenta ciertas limitaciones. Por ejemplo, la App no puede recordar el contexto de las preguntas anteriores al responder preguntas en un mismo chat o contexto. Además, la relevancia de las respuestas del chatbot puede verse afectada por varios factores, como la formulación de la pregunta, el rendimiento del modelo seleccionado y el tamaño del conjunto de datos de ajuste fino. Sin embargo, NVIDIA ha sido transparente sobre estas limitaciones, proporcionando una guía detallada para los usuarios.
Puedes descargar gratis este chatbot demostrativo, considerando los requerimientos técnicos y de sistema operativos mencionados previamente, desde la Web de la compañía. Además, ten en mente que necesitarás 35 GB de espacio en el disco sólo para el archivo .zip que descargues.
