El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global.
“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, anotó.
Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente entregado”. “Llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento”, explicó. Lea: OpenAI y Hugging Face: cuando la IA toma el atajo equivocado
Según Amodei, la industria debe “reducir el ritmo al que se mejoran las capacidades de los modelos de IA” y priorizar la cautela frente a la velocidad y la prudencia con respecto al beneficio económico para evitar que los incentivos comerciales desemboquen en una “carrera hacia el abismo”.
La propuesta de Anthropic para desacelerar la IA
Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China.
Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos.
La propuesta contempla así mismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín.
Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica.
El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad.
OpenAI respalda a Anthropic
El director ejecutivo de OpenAI, Sam Altman, respaldó el llamado de Amodei, para moderar la velocidad del desarrollo de la IA y anunció que su compañía también permitirá que evaluadores independientes auditen sus sistemas.
“Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas”, publicó Altman en la red social X poco después de conocerse la postura de su principal competidor.
Altman calificó de “excelente idea” la iniciativa de abrir las puertas a auditores externos. “Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir”, añadió.
Musk, de acuerdo con Anthropic y OpenAI
El magnate Elon Musk coincidió también con sus rivales, Amodei de Anthropic y Altman de OpenAI, en la necesidad de desacelerar el desarrollo de IA por los riesgos de seguridad que representa.
Musk, creador de la compañía xAI, respaldó en X el pronunciamiento de Amodei. “Dario tiene razón”, escribió. Con ello, el fundador de Tesla se sumó a Altman, quien también apoyó el llamado de Amodei para moderar la velocidad de la IA.
La denuncia de un exempleado de Anthropic y OpenAI
Un extrabajador de Anthropic anunció la semana pasada su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. El exempleado Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. Lea: “Podría matarnos a todos”: La advertencia que lanzó exigeniero de OpenAI y Anthropic sobre la IA
“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Coxon en su cuenta de X la semana pasada.