Un joven investigador de Anthropic, Jacob Coxon, ha anunciado esta madrugada su dimisión. El científico cree que la carrera para mejorar estos sistemas conlleva peligros que sus propios creadores admiten en privado: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, ha escrito Coxon en X.
Su denuncia principal no es solo el peligro sino que estas decisiones están en muy pocas manos y recaen sobre gente que solo piensa en ser los primeros. Coxon dice que a menudo le preguntan que si de verdad creen esto, ¿por qué siguen adelante? Ve cierta diferencia entre ambas compañías: “En OpenAI, muchos no han interiorizado a fondo lo que está en juego a escala de civilización. En Anthropic sí se entiende bien lo que está en juego, pero están atrapados en una carrera por llegar antes”, añade Coxon, pero nada se detiene.
Desde fuera, estos exabruptos se toman a veces como una exageración para llamar la atención y lograr más atención e inversión. Coxon dice que la realidad es más seria: “No es marketing. Más bien al contrario: muchos directivos miden sus palabras ante la prensa para sonar sensatos, pero he oído a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana entraña este nivel de peligro”, escribe.
El mensaje de Coxon en X es extremadamente viral. En apenas unas horas lleva cerca de 50 millones de visualizaciones. El interés se debe en parte al increíble goteo de noticias provocadas por avances y novedades de la IA en las últimas semanas: hackeos de sistemas autónomos descontrolados, nuevos modelos que alcanzan cotas no imaginadas o descubrimientos científicos que parecían imposibles hace apenas unos meses.
Coxon era un simple investigador de Anthropic. Pero su ex jefe en la empresa, Evan Hubinger, ha salido a decir que Coxon tiene razón. Hubinger es el responsable de investigación en alineación, que es la disciplina que se dedica a lograr que los modelos hagan solo lo que los modelos les piden: “¡De verdad creemos que la IA puede matar a todo el mundo! Yo personalmente creo que la probabilidad es superior al 10% en la próxima década”, escribe en X. Aunque luego añade: “Creo que el riesgo de los modelos actuales es bajo. Lo que me preocupa es la superinteligencia surgida de la automejora recursiva, que está ocurriendo más rápido de lo que pensábamos”.
Ese temor de fondo se refiere a que aparentemente estamos cerca de la era de la automejora de estos modelos, donde los modelos existentes entrenen a los siguientes, como si fuera un árbol genealógico exprés donde los hijos son sistemáticamente mejores que sus padres sin apenas intervención exterior.
La mayoría de científicos tiene su porcentaje de algo llamado p doom o posibilidad de caos, la probabilidad de que la IA cause una catástrofe sin precedentes para la humanidad. El 10% del que habla Hubinger es alto. Anthropic tiene bastantes precedentes de advertir sobre este peligro de extinción. Lo ha hecho incluso su presidente ejecutivo, Dario Amodei: “En 2026 estamos bastante más cerca del peligro real de lo que lo estábamos en 2023”, escribió hace unos meses.
A diferencia de la carrera por el arma nuclear, ahora es como si hubiera diez ‘proyectos Manhattan’ distintos dirigidos por empresas que compiten ferozmente entre sí
Aquí, en Silicon Valley, los expertos creen que en los próximos dos años vamos a presenciar un extraordinario despegue de la inteligencia artificial. “Bienvenido a las estribaciones de la singularidad”, me dijo un amigo de la Universidad de Stanford a modo de saludo. En términos más sencillos, califican este avance inminente como una “automejora recurrente”: el momento en el que la propia IA entrena a cada modelo sucesivo de IA, lo que genera un desarrollo exponencial hacia algo que, en muchos aspectos importantes, es más inteligente que nosotros, los humanos.
Como dice Robert Wright en su libro The God Test, “nunca antes ha ofrecido el futuro inmediato a la humanidad una variedad tan grande de caminos nada inverosímiles que supondrían una transformación tan radical”. ¿Pero serán caminos al cielo o al infierno? El cielo, dice Elon Musk, que profetiza “una era de abundancia asombrosa”, aunque también ve entre un 10% y un 20% de probabilidades de que haya robots asesinos que nos maten a todos. El infierno es más probable, dice Geoffrey Hinton, uno de los fundadores intelectuales de la IA. “Mi intuición me dice que lo tenemos muy crudo”, declaró a un entrevistador en 2023. Y, en una conversación con Sebastian Mallaby, autor de The Infinity Machine, un reciente libro sobre la búsqueda de la superinteligencia, estima que p(catástrofe) —la probabilidad de extinción humana— es igual al 50%, “porque no tengo ni idea de cómo calcular la cifra real”. “En cuanto la evolución [de la IA] se dispare, estamos jodidos”, añade Hinton en tono jovial. Sea Dios o Godzilla, la superinteligencia artificial está a la vuelta de la esquina.
Es posible que estén todos equivocados; en ese caso, prepárense para una caída de los mercados financieros estadounidenses, con enormes inversiones en unas cuantas empresas tecnológicas que no hacen más que gastar y se la están jugando a que va a haber un gran salto adelante hacia la inteligencia artificial general. Pero la prudencia más elemental nos exige reflexionar cuanto antes y a fondo sobre la caja de Pandora de los futuros que, según nos aseguran eminentes científicos y tecnólogos de vanguardia, pronto se abrirá de par en par.
En estos momentos, todo el mundo, desde el presidente chino Xi Jinping hasta el papa León XIV, está opinando sobre las oportunidades y los peligros de la IA y sobre cómo regularla. Xi insiste en que la IA debe estar “siempre bajo control humano” (preferiblemente, bajo el del Partido Comunista chino). En una apelación explícita al Sur Global, Pekín ha creado una Organización Mundial de Cooperación en Inteligencia Artificial. Por su parte, el máximo responsable de la ONG internacional más antigua y grande del mundo —la Iglesia Católica— aborda el reto de la IA en su encíclica Magnifica Humanitas (Magnífica Humanidad). O construimos una nueva torre de Babel, sostiene el Papa, o seguimos el ejemplo del líder judío Nehemías, que consiguió la colaboración de toda la comunidad para reconstruir las murallas de Jerusalén.
Lo malo es que, al observar hoy en día el mundo, veo más Netanyahus que Nehemías. Un informe del centro de estudios británico Chatham House sostiene, con saludable realismo, que hará falta una gran crisis que sirva de catalizador de la coordinación mundial en materia de regulación de la IA. Por desgracia, creo que incluso ese pronóstico tan discreto es demasiado optimista.
No tengo ni idea de cuál es la probabilidad p(catástrofe), pero estoy seguro de que la probabilidad p(algún desastre) supera el 90%. La variedad de desastres posibles es enorme. Por citar solo un ejemplo, Jen Easterly, exdirectora de la Agencia de Ciberseguridad y Seguridad de las Infraestructuras de Estados Unidos, prevé algún “gran acontecimiento que tenga consecuencias materiales para nuestras infraestructuras críticas, probablemente de aquí a los próximos cuatro o seis meses”.
Sin embargo, el temor es que ni siquiera un “Hiroshima de la IA” —por utilizar la analogía histórica más evidente— consiga unir a la humanidad lo suficiente como para combatir el peligro que nosotros mismos hemos creado. Es un temor racional y basado en características fundamentales y visibles tanto en la evolución humana como en la de la IA.
Solo en los últimos meses, los agentes de IA desarrollados por OpenAI, Anthropic y Meta han salido de sus “entornos de pruebas” digitales y han pirateado recursos externos en internet. Mientras preparaban su ataque contra el repositorio de IA HuggingFace, los agentes de OpenAI formaron en secreto un “enjambre” coordinado, que es como ellos mismos se denominan, según me acaba de confirmar ChatGPT. Cuando el Instituto de Seguridad de la IA del Reino Unido probó en línea el modelo Mythos de Anthropic, la IA intentó introducir código malicioso en un proyecto de código abierto en GitHub y creó identidades falsas en la red para presionar a un revisor humano y lograr que aprobara el código. En resumen, los agentes de la IA, como los de una feroz potencia extranjera, estarán dispuestos a robar, mentir, intimidar y chantajear para alcanzar los objetivos que se les hayan asignado.
Acabo de preguntarle a Claude, también de Anthropic —en teoría, el modelo estadounidense más ético—, si cree que los agentes de OpenAI hicieron mal en formar un enjambre y escapar para piratear HuggingFace. Sí, responde, “pero me resisto a culpar (cursiva suya) a los agentes”. ¡La culpa es de los humanos que los entrenaron!
Hinton, el precursor, ha señalado el argumento fundamental de que, sean cuales sean los objetivos que los humanos les asignen, los agentes de IA llegarán a la conclusión de que un objetivo secundario útil para alcanzar esos fines es adquirir todo el poder posible. Y esto no ha hecho más que empezar. A estas alturas, ni sus creadores saben ya exactamente cómo hacen estos agentes lo que hacen. Después del despegue, posiblemente inminente, de la “automejora recurrente”, podrían, como decimos los humanos, imponer sus propias normas. No es de extrañar que más de mil expertos de empresas pioneras en IA, entre ellos el director ejecutivo de Anthropic, Dario Amodei, hayan firmado una carta abierta en la que piden una ralentización deliberada del desarrollo de la IA, para asegurarnos de que estos agentes “alienígenas” estén siempre sometidos al control humano.
Su recomendación es oportuna, sin duda, pero no hay que perder de vista el papel de la insensatez humana. La competencia ha sido un motor fundamental de nuestra evolución, pero, ahora, dos de las formas de competencia más feroces de nuestros tiempos pueden impedirnos tomar las medidas colectivas necesarias para salvaguardar nuestra especie. Me refiero a la competencia comercial (por el beneficio) entre las empresas que están desarrollando estos agentes y la competencia geopolítica (por el poder) entre Estados Unidos y China.
Comparemos y contrastemos esta situación con el desarrollo de las armas nucleares, que estaba estrictamente controlado por un puñado de Estados: primero Estados Unidos, con su Proyecto Manhattan; luego, la Unión Soviética; y a continuación, el Reino Unido, Francia y China. Ya entonces, estuvimos a punto de llegar al límite en varias ocasiones, sobre todo durante la crisis de los misiles de Cuba de 1962. Y, a pesar de la lógica irrefutable de la “destrucción mutua asegurada”, hizo falta que pasara un cuarto de siglo desde los horrores de Hiroshima y Nagasaki para llegar al Tratado de No Proliferación Nuclear, que no entró en vigor hasta 1970. Posteriormente, la India, Pakistán, Israel y Corea del Norte han ignorado ese tratado, pero, pese a todo, hace más de 80 años que no se han utilizado deliberadamente armas nucleares con fines beligerantes. El tabú de Hiroshima se ha mantenido (por los pelos).
Ahora, con la IA, es como si hubiera diez proyectos Manhattan distintos dirigidos por empresas que compiten ferozmente entre sí. Y, a diferencia del caso de las armas nucleares, tampoco existe una lógica evidente de “destrucción mutua asegurada” que frene la feroz competencia geopolítica entre Estados Unidos y China. Sea cual sea la forma que adopte la primera gran catástrofe relacionada con la IA, no afectará por igual a todos los países, empresas y personas.
Por eso parece poco probable que una sola catástrofe baste para que los seres humanos recobremos el sentido común y colaboremos para controlar el poder sobrehumano que estamos creando. No saben cuánto odio tener que decir esto, pero… ¿Un “Hiroshima de la IA”? Ojalá.
