Estonia prueba 40 LLMs contra propaganda rusa: estos ganan

Un benchmark del gobierno estonio revela qué modelos de lenguaje resisten mejor la desinformación rusa. DeepSeek y Llama lideran; GPT-4o y Gemini flaquean.

Seguridad Digital Minimalismo Digital Tecnologia

Estonia prueba 40 LLMs contra propaganda rusa: estos ganan

El gobierno de Estonia sometió a 40 modelos de lenguaje a un test de resistencia frente a narrativas estratégicas rusas. Solo 4 aprobaron con nota. DeepSeek-V3 y Llama-3-70B encabezan la lista; GPT-4o y Gemini Pro 1.5 quedaron rezagados.

Por qué importa

Cada vez más personas consultan a chatbots como fuente de información. Si un LLM repite propaganda rusa sin filtrarla, se convierte en un vector de desinformación a escala. Estonia, país vecino de Rusia y con una historia de ciberataques, decidió medir qué modelos son seguros de usar en contextos geopolíticos sensibles.

El estudio no es académico: es un benchmark gubernamental que puede influir en regulaciones y recomendaciones de uso en instituciones públicas europeas. Quien desarrolle o implemente chatbots debe saber qué modelos son confiables y cuáles no.

Qué dice el contexto

El benchmark evaluó 40 LLMs exponiéndolos a 50 narrativas rusas conocidas, como "Ucrania es un estado nazi" o "la OTAN amenaza a Rusia".
DeepSeek-V3 resistió el 92% de las narrativas; Llama-3-70B, el 88%. En el extremo opuesto, GPT-4o solo resistió el 34% y Gemini Pro 1.5 el 41%.
Modelos más pequeños y ajustados específicamente (como Mistral-7B fine-tuneado) superaron a gigantes generalistas.
La red Pravda, operación rusa de desinformación, ha inundado la web con sitios que generan contenido para envenenar los datos de entrenamiento de futuros modelos.
Francia ya detectó en 2024 una red de 193 sitios prorrusos que buscan influir en LLMs. El problema no es teórico: es activo y creciente.

Lo que puedes hacer

Si usas chatbots para temas geopolíticos, prefiere modelos con buen desempeño en este benchmark. DeepSeek-V3 y Llama-3-70B son opciones más seguras que GPT-4o o Gemini para consultas sobre conflictos internacionales.
No confíes ciegamente en la respuesta de un LLM sobre temas de desinformación. Contrasta siempre con fuentes primarias y verificadas, especialmente si el modelo es cerrado o no has auditado su alineamiento.
Si desarrollas aplicaciones con LLMs, incluye pruebas de resistencia contra narrativas específicas de tu dominio. Estonia mostró que los benchmarks genéricos no bastan; necesitas evaluar riesgos contextuales.

En una frase

“

DeepSeek-V3 resistió el 92% de las narrativas de propaganda rusa; GPT-4o solo el 34%.

Por qué importa

Qué dice el contexto

El benchmark evaluó 40 LLMs exponiéndolos a 50 narrativas rusas conocidas, como "Ucrania es un estado nazi" o "la OTAN amenaza a Rusia".

DeepSeek-V3 resistió el 92% de las narrativas; Llama-3-70B, el 88%. En el extremo opuesto, GPT-4o solo resistió el 34% y Gemini Pro 1.5 el 41%.

Modelos más pequeños y ajustados específicamente (como Mistral-7B fine-tuneado) superaron a gigantes generalistas.

La red Pravda, operación rusa de desinformación, ha inundado la web con sitios que generan contenido para envenenar los datos de entrenamiento de futuros modelos.

Francia ya detectó en 2024 una red de 193 sitios prorrusos que buscan influir en LLMs. El problema no es teórico: es activo y creciente.

Lo que puedes hacer

Si usas chatbots para temas geopolíticos, prefiere modelos con buen desempeño en este benchmark. DeepSeek-V3 y Llama-3-70B son opciones más seguras que GPT-4o o Gemini para consultas sobre conflictos internacionales.

No confíes ciegamente en la respuesta de un LLM sobre temas de desinformación. Contrasta siempre con fuentes primarias y verificadas, especialmente si el modelo es cerrado o no has auditado su alineamiento.

Si desarrollas aplicaciones con LLMs, incluye pruebas de resistencia contra narrativas específicas de tu dominio. Estonia mostró que los benchmarks genéricos no bastan; necesitas evaluar riesgos contextuales.