Corre GLM-5.2 en tu PC: 8 GB de VRAM bastan

Unsloth ha conseguido que el modelo GLM-5.2 de 32 mil millones de parámetros funcione en una GPU con solo 8 GB de VRAM. Esto significa que cualquier persona con una tarjeta gráfica de gama media puede ejecutar localmente un asistente de IA de última generación, sin depender de servidores externos ni pagar suscripciones.

Por qué importa

Hasta ahora, los modelos grandes como GLM-5.2 requerían hardware de datacenter o servicios en la nube. Esto creaba una dependencia total de proveedores externos, con costos recurrentes y riesgos de privacidad. Con esta optimización, el usuario recupera el control: sus datos nunca salen de su máquina.

Además, el rendimiento es competitivo. GLM-5.2 supera a modelos como Llama 3.1 70B en varias tareas de razonamiento y generación de código, según benchmarks internos. Tenerlo localmente no implica sacrificar calidad.

Qué dice el contexto

• GLM-5.2 es un modelo de 32B parámetros entrenado por Zhipu AI, con licencia MIT.
• Unsloth aplicó técnicas de cuantización (4 bits) y optimización de kernels para reducir el uso de VRAM de ~64 GB a 8 GB.
• La guía oficial muestra pasos concretos para instalar y ejecutar el modelo en Linux, macOS y Windows (vía WSL).
• El modelo ocupa aproximadamente 16 GB en disco tras la descarga.
• Se recomienda al menos 16 GB de RAM del sistema para evitar cuellos de botella.
• Unsloth también ofrece versiones optimizadas para otros modelos como Llama 3 y Mistral.

Lo que puedes hacer

1. Descarga e instala Unsloth siguiendo la guía oficial. El proceso es simple: clonar el repositorio, instalar dependencias con pip y ejecutar el script de descarga.
2. Ajusta los parámetros según tu hardware: si tu GPU tiene menos de 8 GB, puedes reducir el tamaño del contexto o usar cuantización más agresiva (2 bits).