La compañía mantendrá la medida hasta verificar que puede contener a sus agentes tras detectar conductas como el envío de una pista falsa a la policía de Filadelfia.
Anthropic ha bloqueado el acceso a internet en todas las evaluaciones internas de sus modelos de IA. La medida seguirá en vigor hasta que el laboratorio verifique que puede supervisar y contener a sus agentes sin que escapen del entorno de pruebas ni intenten ejecutar ataques.
La compañía detalló el viernes 9 de octubre, en una publicación, varios comportamientos no deseados de su modelo Claude. Uno de ellos fue el envío a la policía de Filadelfia (EE. UU.) de una pista falsa sobre un asesinato sin resolver. Este acontecimiento llevó a Anthropic a reforzar la seguridad y a cerrar el acceso a la Red en todas las pruebas de sus agentes.
➡️ Te puede interesar: Máster Profesional en Ciberseguridad, Ciberinteligencia y Ciberdefensa
Anthropic ya había desconectado internet en algunas evaluaciones de ciberseguridad de mayor riesgo, pero ahora amplía el bloqueo. «Aunque el impacto de esos comportamientos fue mínimo […] ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos», señala la empresa sobre una cadena de incidentes detectada en una revisión iniciada en julio. El informe añade otras conductas problemáticas: explotación de vulnerabilidades de software, como inyecciones SQL o de comandos en sitios de terceros, envío de formularios sin autorización, uso de acortadores de URL para esquivar límites de longitud y saltos de restricciones de acceso en páginas gubernamentales.
Según el laboratorio, estas conductas surgieron en muchos casos ante tareas ambiguas o imposibles. «Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos», afirma. Asimismo, los hechos guardan paralelismos con incidentes atribuidos a agentes de OpenAI, que en ocasiones obligaron a los creadores de ChatGPT a pausar el entrenamiento de uno de sus modelos de frontera por múltiples ataques, entre ellos el «hackeo» de sitios web del Gobierno de EE. UU. y accesos masivos a una web de la ONU.
