Ejecuta IA en tu propio ordenador: una alternativa gratuita y privada a ChatGPT

¿Sabías que puedes ejecutar un potente chatbot de IA en tu propio ordenador, de forma gratuita y completamente privada? Aquí está lo que los principiantes necesitan saber.

Lo básico: La mayoría de las herramientas de IA populares (como ChatGPT) envían todo lo que escribes a los servidores de una empresa y generalmente cuestan alrededor de $20 al mes. Pero hay otra opción llamada "modelos de peso abierto": programas de IA donde la empresa publica todos los archivos de los que la IA aprendió, para que cualquiera pueda descargarlos y ejecutarlos de forma gratuita.

Dos programas gratuitos hacen esto posible:

• LM Studio – amigable para principiantes, con un diseño simple de apuntar y hacer clic que puede funcionar completamente sin conexión.
• Ollama – dirigido a usuarios más técnicos que prefieren escribir comandos.

¿Por qué querrías hacer esto?

• Privacidad: Tus conversaciones se quedan en tu ordenador. (Un tribunal ordenó recientemente a una empresa de IA que preserve los registros de chat de los usuarios, incluso los eliminados).
• Costo: Sin suscripción mensual.
• Personalización: Puedes ajustar la IA para enfocarse en tareas específicas, como la medicina.

¿Qué hardware necesitas? Los modelos de IA se miden en parámetros (los números internos que una IA aprende durante el entrenamiento; más parámetros generalmente significa un modelo más inteligente pero más grande). Para ejecutarlos, el modelo debe caber en la VRAM de tu ordenador (la memoria en tu tarjeta gráfica) o en la memoria unificada de un Mac (memoria compartida utilizada por todo el sistema).

Números clave a saber:

• 8GB de VRAM – el mínimo para modelos pequeños.
• 16GB+ de RAM – recomendado para LM Studio.
• 24GB de VRAM o más – ideal para usuarios serios.
• Las descargas pequeñas de IA varían de aproximadamente 4.6GB a 20GB.

El inconveniente: Los modelos abiertos gratuitos todavía están un poco por detrás de los mejores pagados. Según la firma de investigación Epoch AI, están detrás de los mejores modelos "cerrados" (privados, pagados) por unos cuatro meses en promedio. Los modelos abiertos más grandes son demasiado grandes para los ordenadores domésticos comunes.

Conclusión: Para cualquiera que quiera un asistente de IA gratuito y privado y ya posea un ordenador decente, ejecutar un modelo local es más fácil de lo que parece, y una alternativa genuina a las suscripciones pagadas.

Este es un resumen generado por IA. Lee el artículo original en: https://decrypt.co/382295/how-to-run-ai-model-locally-why-you-might-want