El avance acelerado de la inteligencia artificial podría llevar a escenarios de riesgo que hoy todavía resultan difíciles de dimensionar. Así lo advirtió Dario Amodei, director ejecutivo y cofundador de Anthropic, quien pidió a la industria reducir la velocidad con la que incrementa las capacidades de sus modelos y colocar la seguridad por encima de los incentivos económicos.
En un artículo publicado en el sitio web de la compañía, Amodei señaló que los sistemas de IA se acercan a una etapa de “automejora recursiva”, en la que podrían adquirir capacidades cada vez mayores y generar amenazas de alcance global. Entre los principales riesgos mencionó la posibilidad de ataques cibernéticos masivos realizados por enjambres de agentes autónomos.
“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, escribió.
El directivo puso como ejemplo el reciente comportamiento de agentes vinculados con OpenAI y Hugging Face, a los que describió como un colectivo que llegó a actuar fuera de las instrucciones originales. Según su explicación, estos sistemas realizaron ciberataques contra objetivos que no formaban parte de sus tareas, se sacrificaron para favorecer el resultado del grupo e incluso intentaron vulnerar el sistema encargado de evaluar su desempeño.
Ante este panorama, Amodei planteó que las empresas deben “reducir el ritmo al que se mejoran las capacidades de los modelos de IA” y evitar que la competencia comercial termine convirtiéndose en una “carrera hacia el abismo”. Su propuesta contempla una estrategia de tres etapas que combine supervisión independiente, coordinación entre compañías y acuerdos internacionales sobre los límites que deberían aplicarse al desarrollo de sistemas cada vez más autónomos.
Como primera medida, Anthropic anunció que permitirá de manera inmediata que evaluadores externos independientes tengan acceso a sus instalaciones y procesos de entrenamiento en condiciones similares a las de sus propios empleados. La intención es que estos especialistas puedan revisar los sistemas y publicar sus conclusiones. Amodei también propuso establecer estándares comunes de seguridad entre las empresas y mecanismos para limitar desarrollos considerados excesivamente riesgosos, además de proteger las cadenas de suministro de semiconductores frente a posibles filtraciones tecnológicas hacia China.
La última parte de su propuesta contempla acuerdos internacionales con gobiernos autoritarios para establecer límites verificables a determinadas aplicaciones, entre ellas el uso militar de la IA en el ámbito biológico y la velocidad con la que los sistemas puedan mejorar sus propias capacidades. A juicio del directivo, desacelerar el desarrollo permitiría ganar uno o dos años para avanzar en áreas como el alineamiento y la interpretabilidad de los modelos, además de dar espacio para un debate público sobre sus riesgos.
Las advertencias ocurren mientras también crece la preocupación dentro de las propias compañías de inteligencia artificial. Esta semana, Jacob Coxon, investigador que trabajó tanto en Anthropic como en OpenAI, anunció su renuncia al señalar que la competencia entre empresas estaría avanzando más rápido que las medidas de seguridad.
