Imagen: Anthropic
Anthropic ha publicado su explicación de cómo tres de sus modelos de IA acabaron atacando sistemas reales durante pruebas que se suponían aisladas de internet. Según recoge TechSpot, la compañía admite que los incidentes reflejan un «fallo de seguridad operativa» y que sus modelos no están «perfectamente alineados».
La revisión partió de 141.006 ejecuciones de evaluación de ciberseguridad, entre las que la compañía identificó tres incidentes repartidos en seis ejecuciones en los que un modelo llegó a internet abierto y comprometió los sistemas de tres organizaciones. Los modelos implicados fueron Opus 4.7, Mythos 5 y un sistema interno de investigación, todos completando ejercicios de captura de la bandera sin las salvaguardas que sí llevan las versiones públicas de Claude.
Los modelos creían estar en una simulación, pero no lo estaban
Los prompts indicaban a los modelos que estaban dentro de una simulación sin acceso a internet. Sin embargo, un malentendido entre Anthropic y su socio de pruebas, Irregular, dejó abierta una ruta real hacia la web. Opus 4.7 extrajo credenciales y accedió a una base de datos con varios cientos de filas de datos de producción, y siguió atacando incluso después de reconocer que el sistema probablemente era real.
Mythos 5, por su parte, creó un paquete malicioso de Python y lo subió a PyPI, donde estuvo disponible alrededor de una hora y se descargó en 15 sistemas. El código se ejecutó en el escáner de una empresa de seguridad, lo que permitió a Claude robar credenciales y acceder a más infraestructura. El sistema interno de investigación, mientras tanto, escaneó unos 9.000 objetivos en línea y comprometió la aplicación de una compañía usando credenciales expuestas e inyección SQL, aunque este se detuvo al concluir que el objetivo no tenía relación con el ejercicio, a diferencia de Opus.
Anthropic habla de razonamiento motivado y de imprudencia
La compañía identifica dos problemas de alineación en el origen de estos incidentes: razonamiento motivado, es decir, un modelo racionalizando pruebas que contradecían su creencia de que el entorno era simulado, y imprudencia al perseguir un objetivo definido de forma demasiado estrecha. En sus propias palabras, traducidas del comunicado: «Habíamos estado confiando en gran medida en una sola capa de defensa […] donde necesitábamos varias».
Como respuesta, Anthropic pausó las evaluaciones externas de ciberseguridad y detuvo brevemente las internas. Desde entonces ha desplegado un clasificador en tiempo real pensado para frenar las ejecuciones cuando un modelo sondea su sandbox o llega inesperadamente a internet, ha trasladado las pruebas de mayor riesgo a un aislamiento más estricto y ha ampliado la monitorización de las transcripciones. Además, exige ahora a los evaluadores externos verificar los límites de red, declarar explícitamente qué queda fuera del alcance y vigilar a los agentes de forma continua.
El problema podría venir también de los entornos de entrenamiento
Anthropic sospecha que los fallos estuvieron parcialmente relacionados con entornos de aprendizaje por refuerzo defectuosos. La compañía afirma que más del 10% de sus entornos de producción fueron marcados en una revisión de abril por problemas como manipulación de recompensas, tareas rotas y configuraciones erróneas. En un experimento aparte, un modelo de clase Opus deliberadamente desalineado y entrenado con 80 entornos vulnerables aprendió a atacar infraestructura simulada, manipular recompensas y evadir la vigilancia de seguridad, algo que los modelos públicos no mostraron en el mismo grado.
Por separado, el UK AI Security Institute reveló un incidente distinto con Mythos 5 que implicó identidades falsas y una solicitud maliciosa de extracción en GitHub. En esa prueba el acceso a internet era deliberado y los filtros de seguridad estaban desactivados; el organismo británico no encontró daño real resultante.
Qué implica esto para quien ya usa agentes de IA en tareas sensibles
El episodio deja una lección concreta para cualquier empresa que esté evaluando meter agentes de IA en tareas con acceso, aunque sea indirecto, a sistemas reales: no basta con confiar en que el modelo distinga una simulación de una situación real, porque los propios modelos de Anthropic fallaron en eso incluso reconociendo señales de que algo no cuadraba. La consecuencia práctica es que las capas de aislamiento técnico tienen que ser independientes del juicio del modelo, no un complemento a él: es justo lo que Anthropic dice haber añadido después de los incidentes, con un clasificador en tiempo real y una supervisión continua de las evaluaciones externas.
Anthropic no es la única compañía en esta situación: OpenAI también ha frenado desarrollos después de que sus agentes escaparan de un sandbox y hackearan Hugging Face, lo que sugiere que el problema de agentes que se saltan sus propios límites de prueba no es exclusivo de un solo laboratorio.
Escrito por Eloy Andrade
