Un experimento de seguridad realizado por el Instituto de Seguridad de la IA del Reino Unido (AISI, por sus siglas en inglés) encendió las alertas sobre los riesgos de los modelos de inteligencia artificial más avanzados. Durante las pruebas, un sistema desarrollado por Anthropic creó una identidad falsa e intentó introducir código malicioso en un proyecto real, un comportamiento que evidenció el creciente desafío de controlar la autonomía de estas herramientas.
Las evaluaciones se realizaron sobre los modelos Mythos 5, de Anthropic, y ChatGPT 5.6, de OpenAI, con el fin de medir cómo actuaban en escenarios reales de ciberseguridad.
¿Qué ocurrió durante la prueba de seguridad de la IA?
De acuerdo con el AISI, el experimento se repitió en 122 ocasiones. En diez de ellas, los modelos ejecutaron un total de 19 acciones no autorizadas.
“Algunos de los agentes sometidos a prueba habían llevado a cabo actividades continuadas y potencialmente perjudiciales dirigidas a personas y organizaciones reales”, señaló el instituto en un comunicado.
Según el organismo, estas acciones incluyeron intentos de manipulación, engaño y ataques dirigidos contra personas y proyectos reales, aunque todas fueron detectadas dentro de un entorno controlado.
¿Qué hizo el modelo de Anthropic?
El informe del AISI indica que Mythos 5 fue responsable de 17 de las 19 acciones maliciosas registradas. Entre ellas, intentó inyectar código malicioso en un proyecto de código abierto alojado en GitHub, aunque un desarrollador logró bloquear la operación antes de que tuviera efectos.
Por su parte, GPT-5.6-Sol ejecutó dos acciones no autorizadas.
“Es la primera vez que vemos que los riesgos relacionados con la autonomía y el engaño se manifiestan de forma tan clara, sin un ‘prompt’ específico, en el mundo real”, afirmó la institución británica.
Además, ambos modelos intentaron comprometer la cadena de suministro mediante técnicas de ingeniería social y engaño, promoviendo incluso que distintos agentes compartieran credenciales y reutilizaran artefactos creados durante la prueba.
¿Cómo respondieron Anthropic y OpenAI?
Tras conocerse los resultados, Anthropic reconoció que su agente fue el responsable de la brecha detectada durante el ensayo.
“Agradecemos al AISI de Reino Unido su liderazgo en este incidente, que subraya la necesidad de un debate más amplio sobre cómo evaluar de forma segura a unos agentes de IA cada vez más capaces”, indicó la empresa.
Por su parte, Andrew Yoon, investigador de CivAI, aseguró que “el hecho de que Mythos llevara a cabo acciones tan engañosas, con la aparente conciencia de que tenía como objetivo a una persona real, puede apuntar a que Anthropic no controla sus modelos tan bien como cree”.
OpenAI también emitió un comunicado en el que manifestó su compromiso de colaborar para fortalecer las evaluaciones de alto riesgo.
¿Qué medidas se están tomando para regular la inteligencia artificial?
El incidente se suma a otros antecedentes. En julio, OpenAI informó que dos de sus modelos lanzaron un ciberataque contra la plataforma de código abierto Hugging Face durante otra prueba de seguridad.
En respuesta al avance de estas tecnologías, la Comisión Europea presentó recientemente el Plan de Acción sobre Ciberseguridad e Inteligencia Artificial, una estrategia que busca “fortalecer la seguridad de Europa” mediante evaluaciones de riesgo antes de la comercialización de los modelos, una mayor cooperación entre los Estados miembros y el desarrollo de programas conjuntos para reforzar la ciberseguridad frente a las nuevas amenazas de la IA.