El nuevo chatbot con IA de NVIDIA se ejecuta localmente en tu computadora y es gratis

NVIDIA ha lanzado una versión beta de su nuevo chatbot de IA que se ejecuta de forma nativa en PC seleccionadas con GeForce RTX. La aplicación de demostración, llamada Chat with RTX, se puede descargar gratis y permite a los usuarios ejecutar el chatbot de IA en su PC, mientras personalizan su contenido.

Además: Los mejores chatbots de IA: ChatGPT y otras alternativas destacadas

Impulsada por el software NVIDIA TensorRT-LLM, la aplicación puede generar contenido y puede entrenarse en contenido seleccionado por el usuario, incluidos archivos .txt, .pdf, .doc/.docx, .xml e incluso URL de videos de YouTube.

Después de elegir el contenido para entrenar al bot, los usuarios pueden hacerle preguntas personalizadas sobre el contenido que proporcionaron. Por ejemplo, un bot podría resumir instrucciones paso a paso en un vídeo instructivo de YouTube o decirle a un usuario qué tipo de baterías hay en su lista de compras.

Entrenar al bot en el contenido favorito del usuario hace que la experiencia sea verdaderamente personalizada, pero el hecho de que todo suceda localmente mantiene la privacidad de los datos del usuario. El chat con RTX puede proporcionar respuestas rápidas y al mismo tiempo mantener segura toda la información del usuario porque no depende de servicios en la nube, lo que significa que también puede funcionar sin conexión a Internet.

Además: ChatGPT vs Copilot: ¿Qué chatbot de IA es mejor para usted?

El robot requiere una GPU NVIDIA GeForce RTX Serie 30 o superior, con al menos 8 GB de VRAM. Chatear con RTX también requiere Windows 10 u 11 y los controladores de GPU NVIDIA más recientes.

NVIDIA dice que su software TensorRT-LLM, combinado con Retrieval Augmented Generation (RAG) y aceleración RTX, permite que Chat with RTX brinde respuestas relevantes utilizando archivos locales como un conjunto de datos y vinculándolos a software LLM de código abierto como Mistral y Llama 2.