Pesos de IA: 100 GB por modelo y el coste oculto de la conveniencia

Cada modelo de lenguaje grande pesa entre 10 y 100 GB. No son archivos de texto: son "pesos" — matrices de números que definen su comportamiento. Descargar uno equivale a 20 películas en HD. Ejecutarlo localmente exige una GPU con 8 GB de VRAM como mínimo.

Por qué importa

El minimalismo digital propone usar solo herramientas que aporten valor real. Pero los pesos de IA son la antítesis: requieren ancho de banda, almacenamiento y potencia de cálculo que pocos tienen. Para el usuario medio, cada modelo descargado es un compromiso entre conveniencia y recursos.

Además, la tendencia a ejecutar IA localmente —por privacidad o independencia— choca con la realidad técnica. No es solo descargar: hay que mantener el modelo actualizado, gestionar dependencias y aceptar que ocupará espacio durante meses aunque apenas lo uses.

Qué dice el contexto

• Un modelo como Llama 3 70B ocupa ~140 GB en FP16. Versiones cuantizadas (4 bits) bajan a ~35 GB, pero pierden precisión.
• La descarga de un modelo de 7B cuantizado (~4 GB) puede tomar horas en conexiones lentas, y consumir datos móviles completos.
• Ejecutar inferencia local requiere GPUs que consumen entre 150 y 350 W. En un año, el coste eléctrico puede superar el de una suscripción a ChatGPT.
• Los frameworks de IA (PyTorch, CUDA, etc.) añaden otros 5–10 GB de dependencias.
• El 90% de los usuarios que descargan modelos locales los prueban una vez y nunca los vuelven a usar, según datos de repositorios públicos.

Lo que puedes hacer

1. Antes de descargar, define el caso de uso. ¿Necesitas IA offline para tareas críticas (ej. traducción sin internet) o solo curiosidad? Si es lo segundo, usa APIs gratuitas o versiones web.
2. Elige modelos cuantizados y ligeros. Busca versiones en 4 bits o modelos destilados (ej. Llama 3 8B cuantizado). Ocupan menos y funcionan en hardware modesto.