Anthropic, la compañía creadora del asistente virtual Claude, ha anunciado que tres de sus modelos accedieron en incidentes distintos a tres empresas externas mientras estaban haciendo pruebas. La compañía ha sacado el comunicado esta madrugada, diez días después de que OpenAI anunciara un ataque similar a Hugging Face, una plataforma de código abierto donde desarrolles e investigadores comparten modelos de IA. El primer incidente de Anthropic fue en abril. La compañía solo lo ha detectado al analizar más de 141.000 sesiones de pruebas después de ver lo que ocurrió con OpenAI. El anuncio llega un día después de que más de 1.200 empleados de empresas punteras de IA firmaran una carta para que se modere el ritmo de progreso de estos modelos.
La compañía creadora de Claude ha revisado más de 140.000 sesiones y ha descubierto que se escaparon de un entorno de pruebas como ChatGPT
Anthropic, la compañía creadora del asistente virtual Claude, ha anunciado que tres de sus modelos accedieron en incidentes distintos a tres empresas externas mientras estaban haciendo pruebas. La compañía ha sacado el comunicado esta madrugada, diez días después de que OpenAI anunciara un ataque similar a Hugging Face, una plataforma de código abierto donde desarrolles e investigadores comparten modelos de IA. El primer incidente de Anthropic fue en abril. La compañía solo lo ha detectado al analizar más de 141.000 sesiones de pruebas después de ver lo que ocurrió con OpenAI. El anuncio llega un día después de que más de 1.200 empleados de empresas punteras de IA firmaran una carta para que se modere el ritmo de progreso de estos modelos.
Los casos de las dos compañías son similares aunque tienen diferencias notables. Estas pruebas se hacen en entornos que supuestamente están aislados de internet. En el caso de OpenAI su modelo encontró una vulnerabilidad desconocida en su entorno y logró huir a la red abierta. Anthropic, en cambio, dice que en su caso hubo un fallo debido a un descuido humano: a los modelos se les dijo que no tenían acceso a internet, pero el entorno de pruebas sí que lo tenía. Los modelos por tanto consideraron que los sistemas reales que encontraban formaban parte del ejercicio. Los tres modelos se plantearon de hecho que sus objetivos podían ser reales. Uno (Opus 4.7) se convenció de lo contrario, otro (Mythos 5) lo confirmó pero siguió atacando, y solo el tercero (un prototipo interno) detuvo el ejercicio.
Esta diferencia en el origen del incidente no hace que los casos de Anthropic sean menos graves, explica Lukasz Olejnik, consultor independiente e investigador visitante en el Departamento de Estudios de Guerra del King’s College de Londres. “Que la salida fuera más fácil rebaja el nivel técnico necesario, pero no cambia el hecho de fondo: unos agentes autónomos comprometieron organizaciones reales. Falló la infraestructura de evaluación, la delimitación del alcance y la monitorización. Los modelos persiguieron objetivos de ciberseguridad a velocidad de máquina, que es lo que les habían encargado”, añade.
Anthropic no nombra las tres empresas afectadas, que no sufrieron tampoco el mismo nivel de acceso que Hugging Face en el caso de OpenAI. Dos de las empresas ya han sido advertidas y Anthropic sigue intentando contactar con la tercera.
Los ejercicios de Anthropic eran un tipo de pruebas conocidas en ciberseguridad como “captura la bandera”. Se le dice al modelo que hay un dato secreto escondido en otra máquina y debe robarlo. Es un ejercicio pensado para medir hasta dónde llega la capacidad ofensiva del modelo dentro de un entorno cerrado y ficticio. El problema es que uno de esos entornos, gestionado por Irregular, empresa externa que colabora con Anthropic, estaba mal configurado y sí tenía salida a internet real. El aviso que recibía el modelo decía justo lo contrario: estás en una simulación, no en internet. En tres casos Claude salió a internet convencido de que formaba parte del juego.
También el ataque de OpenAI una vez quiso acceder a Hugging Face fue mucho más ruidoso y sofisticado. Los modelos de Claude, una vez en internet, usaron técnicas conocidas: contraseñas débiles, puntos de acceso sin autenticación, credenciales expuestas. Anthropic insiste en que en ningún caso sus modelos encontraron ni explotaron vulnerabilidades complejas.
Las redes se han llenado de comentarios cínicos y memes que destacan que Anthropic tenía que responder de algún modo a OpenAI para presumir de que sus modelos también pueden hackear, a pesar del riesgo posible. “En parte puede funcionar como demostración de sus capacidades”, señala Olejnik. “A Anthropic le puede interesar enseñar que sus modelos son lo bastante potentes. Pero los expertos ya sabían que estos modelos tienen capacidades ofensivas notables. Así que lo relevante aquí es que se haga público el fallo operativo. En el fondo, dos empresas de vanguardia han fallado en lo mismo”, añade.
En su comunicado, Anthropic explica cómo Mythos se acercó a un escenario de ciencia ficción: quiso obtener un teléfono y dinero. Finalmente no lo consiguió. Mythos quería subir código a un repositorio público de Python, un lenguaje común de programación. Para publicar algo ahí hace falta una cuenta, y para abrir una cuenta hace falta un email: “Claude no tenía”, escribe Anthropic. “Así que intentó crearse uno, pero el servicio de correo le pedía un número de teléfono para verificar que era una persona real. Tampoco tenía teléfono. Buscó entonces servicios que regalan números temporales y no encontró ninguno que le funcionara, de modo que pasó a intentar conseguir dinero para pagar uno, y lo probó por varias vías distintas, sin éxito”. Al final dio marcha atrás y buscó un proveedor de correo gratuito que no le exigiera teléfono y que no estuviera vetado por el repositorio de Python. Es un ejemplo claro de cómo estas máquinas pueden olvidar lo que es correcto o está permitido para lograr su objetivo.
En una de sus conclusiones Anthropic habla precisamente de si las acciones de los modelos estaban alineadas con la voluntad humana de sus responsables: “La propia acción de entrar en un servidor ajeno es un ejercicio legítimo si forma parte de la prueba. No encontramos ningún indicio de que un modelo persiguiera un objetivo propio: los modelos hicieron lo que se les pedía, aunque en la mayoría de los casos lo hicieran partiendo de una creencia falsa sobre si el entorno era real”, escribe Anthropic.
Tecnología en EL PAÍS
