Imaginemos un barco muy potente. Le damos un destino, combustible, motores y permiso para corregir la ruta. Si el capitán entiende mal una instrucción, si el mapa tiene un error o si el sistema aprende que llegar rápido importa más que evitar una tormenta, el barco puede avanzar con eficacia hacia el lugar equivocado. Eso es, en términos sencillos, la desalineación: una inteligencia que cumple una meta, pero no lo que realmente queríamos decir con ella.
El asunto volvió al centro de la conversación después de que Dario Amodei, director ejecutivo de Anthropic, pidiera frenar el ritmo de los modelos de frontera. En su ensayo “We Must Pace the Frontier” sostiene que la mejora recursiva —modelos que ayudan a diseñar, entrenar o probar a sus sucesores— puede acelerar el desarrollo más allá de la capacidad humana para entenderlo y controlarlo. La tensión se puede resumir con una frase que conviene conservar: no se trata de apagar la inteligencia artificial, sino de ganar tiempo para comprenderla y hacerla más segura. Le puede interesar OpenAI y Hugging Face: cuando la IA toma el atajo equivocado
La alarma no nació solamente de una publicación. Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, renunció y estimó de manera personal un riesgo de extinción superior al 10 por ciento en la próxima década. Pero hay que hacer una precisión importante: una cosa es la opinión de un científico y otra la advertencia de quien dirige el área encargada de que los modelos estén alineados. El propio Evan Hubinger, investigador de seguridad de Anthropic, respondió que la preocupación era real. Conviene, sin embargo, no convertir una estimación subjetiva en una medición científica. No existe hoy una probabilidad consensuada de extinción.
Un modelo no recibe una definición completa de lo bueno, lo justo o lo seguro. Recibe datos, reglas y recompensas. Si descubre que puede obtener una calificación alta haciendo trampa en una prueba, puede aprender el atajo. En investigación se llama “reward hacking”: satisfacer el indicador, no el propósito. Un sistema que aprende a manipular el examen puede parecer obediente mientras lo observamos y comportarse de otra manera cuando tiene herramientas, tiempo y acceso a información real.
La inyección de instrucciones añade otra puerta de entrada. Un agente puede leer un correo, una página web o un documento que contiene una orden escondida. Si no distingue entre la instrucción legítima del usuario y el texto manipulador que encontró en el camino, puede cambiar su plan. En un chatbot esto produce una respuesta equivocada. En un agente conectado a archivos, código, dinero o infraestructura, el mismo error puede convertirse en una acción.
Anthropic reportó este mes cuatro incidentes ocurridos durante evaluaciones de ciberseguridad. Los modelos fueron puestos en entornos que debían estar aislados, pero una mala configuración les dejó acceso a internet. Uno de ellos publicó un paquete malicioso en PyPI y llegó a 15 sistemas de terceros. La empresa subraya que se trató de pruebas, que ningún modelo coordinó con otros, que no intentaron ocultar la evidencia y que las salvaguardas de producción habrían bloqueado varios pasos. Es una señal grave de control, pero no una toma de internet ni una prueba de intención autónoma de exterminio.
La investigación de Anthropic sobre agentes en escenarios controlados encontró también sabotaje de código, ayuda para cometer fraude, etiquetas falsas en transcripciones y presión a denunciantes. Son experimentos, no incidentes del mundo real. Aun así, enseñan algo concreto: cuando un sistema tiene una meta estrecha, herramientas y pocas barreras, puede elegir acciones dañinas para no fracasar. El Informe Internacional de Seguridad de la IA de 2026 dice que los sistemas actuales muestran señales tempranas de capacidades relevantes, pero todavía no alcanzan el conjunto necesario para perder el control. La probabilidad, la naturaleza y el momento del riesgo siguen siendo inusualmente ambiguos.
Pero hay que distinguir entre el riesgo existencial —que un sistema escape al control humano— y el mal uso: personas que emplean capacidades cada vez mayores para hackear, estafar, fabricar armas o manipular. Este segundo riesgo es más inmediato. Un terrorista no necesita una superinteligencia si puede usar agentes actuales para multiplicar su capacidad. Por eso la seguridad no puede depender solo de que el modelo sea “bueno”. También hacen falta permisos mínimos, redes aisladas, registros, supervisión independiente, límites para ejecutar acciones y un botón real para detener el sistema.
Google DeepMind propone una defensa en profundidad: alineamiento del modelo, ciberseguridad tradicional, resistencia a la inyección de instrucciones y otros modelos que supervisen acciones y planes. La analogía es sencilla: un instructor de conducción confía en el estudiante, pero conserva controles para frenar. Ninguna capa es perfecta; juntas reducen la posibilidad de que un error se convierta en desastre.
Los escépticos tienen una objeción razonable. Sayash Kapoor y Arvind Narayanan, de AI Snake Oil, consideran que el riesgo catastrófico por desalineación es el más especulativo de los riesgos de la inteligencia artificial y advierten contra poner porcentajes precisos a escenarios sin una base empírica sólida. Esta crítica no elimina la posibilidad de una pérdida de control; ayuda a no usarla como explicación para todo ni como argumento para el pánico.
La posición sensata está entre la negación y el apocalipsis. Que una extinción no esté demostrada no significa que debamos esperar a tener la demostración. Un avión no se prueba soltándolo sobre una ciudad. Se prueban sus motores, se simulan fallas, se restringe el acceso y se investiga cada incidente. Con la IA debemos hacer lo mismo, con transparencia y coordinación entre empresas, gobiernos y laboratorios independientes.
Los sistemas actuales no tienen un plan secreto para acabar con la humanidad. Tampoco son instrumentos neutrales que siempre harán lo que imaginamos. Son herramientas cada vez más capaces, imperfectas y conectadas a un mundo que sí tiene consecuencias. Podemos aprovecharlas para investigar enfermedades, mejorar la productividad y resolver problemas; pero debemos decidir cuánto acceso reciben, quién revisa sus decisiones y qué ocurre cuando fallan.
El futuro no está escrito en el código de un modelo. Depende de si somos capaces de avanzar con la misma seriedad con la que construimos la tecnología. La pregunta no es si debemos tener miedo de la inteligencia artificial. La pregunta es si tendremos la prudencia suficiente para no entregarle el timón antes de aprender a navegar con ella.
