El verdadero estado del arte de los modelos de código no está en los benchmarks

Un desarrollador recopiló las opiniones de la comunidad de Hacker News sobre los mejores modelos de codificación. El resultado no es una tabla de benchmarks, sino un retrato honesto de lo que realmente funciona — y lo que no — en el día a día.

Por qué importa

Mientras los laboratorios compiten por el mejor puntaje en HumanEval, los desarrolladores lidian con una realidad más matizada: modelos que generan código plausible pero incorrecto, que requieren supervisión constante o que simplemente no entienden el contexto del proyecto. La brecha entre la promesa de marketing y la experiencia real es enorme, y afecta directamente la productividad y la calidad del trabajo.

Para el desarrollador minimalista, que busca reducir la fricción y mantener el foco, esta brecha es crítica. Elegir la herramienta equivocada puede significar más tiempo depurando, menos confianza en el código generado y, en última instancia, más ruido mental.

Qué dice el contexto

• Un hilo en Hacker News recopila comentarios sobre el "estado del arte" de los modelos de codificación, basándose en la experiencia de la comunidad, no en benchmarks oficiales.
• Los comentarios destacan que modelos como Claude 3.5 Sonnet y GPT-4o son los más mencionados, pero con matices: cada uno tiene fortalezas y debilidades según el tipo de tarea.
• Varios desarrolladores señalan que la calidad del código generado depende más del prompt y del contexto que del modelo en sí.
• Se menciona la importancia de la verificación manual: ningún modelo es lo suficientemente confiable como para delegar sin supervisión.
• La discusión refleja un escepticismo saludable: la comunidad valora la transparencia y la experiencia compartida por encima de las afirmaciones de los fabricantes.

Lo que puedes hacer

1. Prueba con tu propio código. No confíes en rankings generales. Toma una tarea real de tu proyecto y prueba 2 o 3 modelos. El que mejor entienda tu contexto es el que más te servirá.