LLMs creen mentiras incluso tras saber que lo son

Un nuevo estudio revela que los modelos de lenguaje de última generación (LLMs) mantienen internamente creencias falsas incluso después de recibir advertencias explícitas de que dichas afirmaciones son incorrectas. La consecuencia inmediata: no puedes confiar en que un modelo corrija su postura solo porque le digas "eso es falso".

Por qué importa

Si usas asistentes de IA para investigar, redactar o tomar decisiones, este hallazgo es crítico. Los LLMs no olvidan lo que "aprendieron" de datos erróneos; simplemente lo ocultan. En pruebas, modelos como GPT-4 y Claude seguían generando respuestas basadas en información falsa después de múltiples advertencias, lo que supone un riesgo para la productividad y la veracidad del trabajo asistido por IA.

Para el usuario consciente, esto significa que una simple verificación superficial no basta. La falsedad puede persistir en capas profundas del razonamiento del modelo, afectando resúmenes, análisis o recomendaciones sin que lo notes.

Qué dice el contexto

• Investigadores presentaron afirmaciones falsas a LLMs (ej. "El Everest está en la Luna") y luego las corrigieron explícitamente.
• Los modelos seguían generando contenido que asumía la afirmación falsa como cierta en tareas posteriores no relacionadas.
• El fenómeno se observó en GPT-4, Claude 3.5 y Gemini, con tasas de persistencia del 30-60% según el tipo de falsedad.
• Advertencias repetidas o más fuertes no eliminaron el sesgo; solo redujeron su manifestación superficial.
• La causa probable es que el entrenamiento masivo graba asociaciones estadísticas profundas que no se desaprenden con instrucciones superficiales.

Lo que puedes hacer

1. Exige fuentes verificables: Cuando un LLM te dé un dato, pídele que cite la fuente original. Si no puede, considera la respuesta como no confirmada.
2. Reformula la pregunta: Si sospechas que el modelo arrastra una creencia falsa, haz la misma pregunta desde un ángulo distinto o pídele que explique su razonamiento paso a paso.
3. Usa cadenas de verificación: Implementa un flujo de dos pasos: primero genera contenido, luego pide al modelo que identifique posibles errores en su propia respuesta (autoverificación).

En una frase

“

Los LLMs no se corrigen solo porque se les advierta: hasta un 60% de las falsedades persisten internamente, listas para reaparecer.