La memoria se come el 66% del coste de los chips de IA

La memoria ya supone el 66% del coste total de los chips de inteligencia artificial, según un análisis de Epoch AI. Esto significa que por cada dólar gastado en un chip de IA, 66 centavos se van en memorias HBM (High Bandwidth Memory), frente al 34% que cuesta el propio procesador.

Por qué importa

Hasta hace poco, el cuello de botella era la capacidad de cómputo. Ahora el verdadero lastre económico es la memoria. Para las empresas que entrenan modelos grandes, el coste de los chips se ha disparado porque la memoria no escala al mismo ritmo que los procesadores.

Esto afecta directamente a quién puede competir. Los gigantes con presupuestos multimillonarios (Google, Meta, Microsoft) pueden absorber estos costes. Pero las startups y laboratorios más pequeños ven cómo la barrera de entrada se eleva: ya no basta con tener GPUs potentes, hay que pagar el doble por la memoria que las acompaña.

Qué dice el contexto

• En 2020, la memoria representaba el 40% del coste de un chip de IA; ahora es el 66%. La tendencia es creciente.
• Las memorias HBM (High Bandwidth Memory) son las más caras porque requieren apilar chips y procesos de fabricación complejos.
• El coste total de los chips de IA se ha multiplicado por 3 en los últimos 4 años, impulsado principalmente por la memoria.
• Los fabricantes de memorias (Samsung, SK Hynix, Micron) se benefician directamente, mientras que los diseñadores de chips (NVIDIA, AMD) ven reducido su margen relativo.
• Para un modelo como GPT-4, el coste de memoria en los chips necesarios para entrenarlo supera los 100 millones de dólares.

Lo que puedes hacer

1. Si trabajas en una startup de IA, prioriza modelos que usen menos memoria: técnicas como cuantización, pruning o arquitecturas eficientes (Mixture of Experts) reducen la demanda de HBM.
2. Antes de comprar o alquilar hardware, calcula el coste total de propiedad incluyendo memoria. Una GPU con menos HBM puede ser más rentable aunque sea más lenta.