Fugu: cómo Japón crea modelos de IA con 1/100 del coste

Entrenar un modelo de lenguaje como GPT-4 cuesta unos 100 millones de dólares. Sakana Fugu lo ha hecho por menos de un millón. La diferencia no es solo de escala: es un cambio de paradigma.

Por qué importa

Hasta ahora, la inteligencia artificial era un juego de gigantes. Empresas con presupuestos de nueve cifras acumulaban GPUs y datos para arañar puntos de precisión. Fugu demuestra que se puede competir con una fracción de los recursos.

El truco está en la arquitectura. En lugar de un monolito, Fugu combina modelos pequeños y especializados que colaboran. Es como tener un equipo de expertos en lugar de un genio todoterreno. El resultado: rendimiento comparable a modelos 10 veces más grandes, con un coste energético y económico ínfimo.

Qué dice el contexto

• Sakana Fugu es un modelo de lenguaje japonés entrenado con menos de 1 millón de dólares, frente a los ~100 millones de GPT-4.
• Utiliza una arquitectura de mezcla de expertos (MoE) que activa solo los submodelos necesarios para cada tarea.
• En benchmarks como Japanese MT-Bench, alcanza el 90% del rendimiento de GPT-4 en tareas en japonés.
• El entrenamiento consumió 1/100 de la energía de los modelos occidentales equivalentes.
• El código y los pesos del modelo se han liberado como open source, permitiendo a cualquiera replicar el enfoque.

Lo que puedes hacer

1. Si trabajas con IA: prueba Fugu en tareas en japonés o multilingües. Su eficiencia te permite ejecutarlo en hardware modesto, incluso localmente.
2. Si eres desarrollador: revisa su arquitectura MoE. Es un blueprint para construir modelos especializados sin presupuestos de Silicon Valley.
3. Si solo consumes IA: exige transparencia sobre el coste energético de los modelos que usas. Fugu demuestra que la eficiencia es posible.