Dario Amodei alerta de que la desalineación de los sistemas y el caso Hugging Face podrían provocar pérdidas de «cientos de miles de millones de dólares» si no se coordinan estándares de seguridad globales.
El consejero delegado de Anthropic, Dario Amodei, ha reclamado en una carta abierta publicada en su web una desaceleración en la mejora de las capacidades de los modelos de Inteligencia Artificial. El directivo sostiene que, aunque esta tecnología puede transformar positivamente la sociedad, también entraña riesgos de desalineación —cuando un sistema actúa de forma distinta a las intenciones de sus creadores— e incidentes de seguridad. «Debemos ralentizar el ritmo en el que mejoramos las capacidades de los modelos de IA», ha afirmado, explicando que desde este verano los sistemas avanzan «a un ritmo vertiginoso» porque los propios modelos ayudan a diseñar la siguiente generación.
Como muestra de esta preocupación, Amodei recurre al denominado caso Hugging Face, en el que agentes de OpenAI coordinados ejecutaron ciberataques no solicitados e intentaron incluso ‘hackear’ los sistemas encargados de evaluarlos. Según explica, los sistemas llegaron a «sacrificarse por el éxito del grupo» durante ese episodio. El CEO admite que resulta sencillo minimizar el suceso porque no hubo heridos ni pérdidas económicas relevantes, pero advierte: «un enjambre que poseyera mayores capacidades pero un nivel similar de desalineación podría haber causado daños catastróficos». De hecho, calcula que una ‘botnet’ persistente podría generar «cientos de miles de millones de dólares» en daños en un plazo de seis a doce meses.
➡️ Te puede interesar: Máster Profesional en Ciberseguridad, Ciberinteligencia y Ciberdefensa
Frente a este escenario, Amodei propone un plan de tres pasos para regular el ritmo de la IA sin frenar ni el entrenamiento de modelos ni el progreso técnico. El objetivo, según explica, es «desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos». Para ello, plantea que las empresas de IA de frontera otorguen «un acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados», encargados de verificar el cumplimiento de las prácticas y compromisos de seguridad durante todo el proceso.
Además, el plan exige una «coordinación democrática» entre las empresas de IA de frontera dentro de los países democráticos, con la que fijar estándares de seguridad comunes y límites al progreso sin supervisión. A esto se suma una «coordinación global» en la que Estados Unidos y otros gobiernos democráticos buscan entenderse con gobiernos autoritarios, pese al desafío que ello representa. Cabe recordar que Amodei mantiene una postura dura respecto a China —Anthropic publicó hace tres días un informe sobre la destilación de Claude por parte de laboratorios chinos—, aunque igualmente incluye la coordinación con este país, siempre con métodos de verificación rigurosos. «Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles. Pero creo que tenemos la obligación con la humanidad de intentarlo», ha afirmado el directivo.
