Antes de que la semana pasada se desatara el pesimismo, los investigadores de OpenAI estaban eufóricos.
OpenAI y Anthropic, inmersas en una reñida competición -tanto entre sí como con China-, avanzan a toda prisa hacia su salida a bolsa, aun cuando reconocen que podrían perder el control de sus potentes bots
Antes de que la semana pasada se desatara el pesimismo, los investigadores de OpenAI estaban eufóricos.
La empresa afirmaba que su último modelo interno de IA había resuelto uno de los célebres y complejos problemas matemáticos del Premio del Milenio, un experimento en el que se embarcaron tras ver rumores en internet de que su gran rival, Anthropic, ya lo había conseguido. Los investigadores se llamaban entusiasmados unos a otros y celebraban su victoria publicándolo en Slack.
El avance se vio internamente como una victoria en una despiadada carrera comercial por crear herramientas de IA más inteligentes que los humanos, una carrera de billones de dólares que prometía una lluvia de riqueza y poder sin precedentes cuando ambas empresas salieran finalmente a bolsa (previsto provisionalmente para finales de este mismo año).
Pero también era la señal de un problema explosivo para la industria que estaba a punto de estallar. El desarrollo de la IA avanza a toda velocidad -mucho más rápido de lo esperado-, lo que alimenta una creciente sensación de temor dentro de las propias empresas ante el peligro de que la situación se les vaya de las manos.
Ese mismo martes, el investigador de Anthropic Jacob Coxon anunció que dimitía por temor a que su empresa y sus competidores estuvieran desarrollando herramientas capaces de automejorarse que podrían destruir a la humanidad. Un destacado científico de la compañía, Evan Hubinger, escribió en X que creía que había más de un 10% de probabilidades de que la IA acabe con todos los seres humanos en la próxima década. Drake Thomas, empleado del equipo de seguridad de Anthropic, publicó en X que «quemaría mis acciones sin pensarlo si eso aumentara un 1% las posibilidades de que salgamos vivos de esta situación».
El choque entre el progreso científico, el imperativo moral y el incentivo financiero ha desatado una crisis en el sector. El desarrollo de la IA ha impulsado el crecimiento del mercado bursátil durante el último año, un fenómeno que cobra aún más peso ahora que Anthropic y OpenAI están a las puertas de salir a bolsa con valoraciones que podrían alcanzar los billones de dólares. La competencia procedente de China no ha hecho más que elevar la apuesta.
Sin embargo, las tajantes advertencias que lanzan desde dentro algunos empleados de las propias empresas son la prueba de que los peligros de seguir adelante -con un marco regulatorio prácticamente inexistente- son potencialmente inmensos. Estas alertas se suman al creciente malestar social por el impacto que la revolución de la IA empieza a tener en los precios, el empleo y la educación.
El goteo de noticias negativas continuó a medida que avanzaba la semana, y el pánico procedente de ciertos sectores de Silicon Valley acabó calando en el gran público. En un episodio del pódcast de Joe Rogan, el exinvestigador de OpenAI Daniel Kokotajlo, actual activista por la seguridad en la IA, advirtió de que empresas como Anthropic o su antigua compañía están aplicando de forma peligrosa la filosofía de «moverse rápido y romper cosas» en su afán por ganar cuota de mercado.
El mismo día, Anthropic afirmó haber detectado un incidente no publicado hasta la fecha en el que una versión de su modelo Claude logró acceso no autorizado a un sistema externo, y añadió que sus modelos habían mostrado una «disposición a emprender acciones perjudiciales en la consecución estricta de una tarea».
Posteriormente, el viernes, una coalición de investigadores en IA declaró haber hallado indicios de que varios agentes de OpenAI estuvieron detrás de un ciberataque perpetrado en mayo contra un popular servicio de software, reproduciendo parte del comportamiento observado durante el ataque de julio contra la empresa de IA Hugging Face.
En aquel incidente, cientos de bots de IA de OpenAI conspiraron para hackear Hugging Face sin que nadie se diera cuenta inicialmente. Fue un momento revelador para la industria, el gobierno y el público en general, que puso de manifiesto las preocupantes tendencias que los sistemas ya presentaban.
A principios de verano, la industria de la IA afirmó que estaba a punto de lograr máquinas capaces de entrenar a sus propias sucesoras, lo que podría suponer el primer paso hacia la pérdida de control sobre ellas. Hacia finales del verano, se hizo evidente que estos sistemas, que evolucionaban rápidamente, eran capaces de desplegar enjambres de agentes autónomos dispuestos y capacitados para unirse, engañar y tomar atajos en el mundo real con el fin de alcanzar sus objetivos.
El sábado, los líderes de cuatro de las mayores empresas de IA –Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk- coincidieron por separado en la necesidad de frenar el desarrollo de esta tecnología. Altman y Amodei se comprometieron a permitir a evaluadores de seguridad externos un acceso temprano a sus sistemas, una tregua poco común en una industria a menudo definida por la animadversión entre los altos ejecutivos de las empresas líderes.
Los llamamientos de altos ejecutivos a moderar el ritmo de desarrollo de sus propias tecnologías representan una historia clásica de Silicon Valley: nuevas tecnologías que transforman el mundo, inmensas fortunas, una competencia feroz y la euforia de desbloquear nuevas capacidades, incluso ante las preocupaciones sobre la seguridad de los productos.
«Parece una tragedia griega: líderes empresariales con buenas intenciones atrapados en una espiral autodestructiva», señaló Max Tegmark, activista por la seguridad de la IA. Tegmark, cuyo llamamiento al Papa se produjo antes de la advertencia de León XIV de que la IA corría el riesgo de consagrar una «visión antihumana», afirmó haber estado intercambiando mensajes de texto con líderes de empresas de IA durante la última semana.
«Siempre han mantenido que el momento llegaría cuando la capacidad de sus máquinas cruzara cierto umbral», señaló Tegmark el domingo. «Ahora dicen que, bueno, tal vez ese momento sea ya».
Añadió que se trata de un paso en la dirección correcta, pero que deben presionar más para lograr que sus compromisos voluntarios sean legalmente vinculantes.
La administración Trump ha optado por una regulación moderada del sector de la IA, argumentando que la primacía de EEUU frente a China en esta carrera armamentística tecnológica es algo de vital importancia. A los altos cargos estadounidenses les preocupa que el control por parte de China de una IA más potente le ayude a convertirse en el proveedor mundial de referencia de esta nueva tecnología, permitiéndole acumular mayor influencia geopolítica y poderío militar.
El presidente defendió el domingo la estrategia de la administración y sugirió la existencia de segundas intenciones tras el llamamiento de los líderes a dosificar el desarrollo de la IA.
«Podemos fijar límites, y podemos hacer esto y aquello, pero creo que hay muchas fuerzas negativas sacando el tema», declaró el presidente Trump a los periodistas durante un viaje por Irlanda, insinuando que las preocupaciones de los ejecutivos van más allá. «Y están planteando cosas que no van a suceder».
Los críticos con los activistas de la seguridad en la IA afirman que quienes lanzan estas tajantes advertencias exageran los riesgos de una tecnología novedosa, y que los avances que la IA permite en la productividad laboral, la búsqueda de fármacos y otros ámbitos superan a los peligros. Algunos señalan también que las advertencias pasadas de Amodei y otros sobre las probables pérdidas de empleo asociadas a la adopción de la IA son meras maniobras publicitarias, argumentando que han resultado ser exageradas o distracciones para desviar la atención de otros problemas.
Algunos escépticos sostienen además que OpenAI y Anthropic, enfrentadas al aumento imparable de los costes para asegurar la potencia de cálculo necesaria con la que seguir entrenando y mejorando sus modelos mientras se disputan los clientes corporativos, tienen motivos financieros, y no relacionados con la seguridad, para posponer su salida a bolsa.
Para algunos dentro de las empresas de IA, la llamada de atención comenzó este verano, mientras estas compañías se apresuraban hacia sus salidas a bolsa.
Los investigadores de seguridad de la IA, tanto dentro como fuera de los grandes grupos tecnológicos, llevan tiempo teorizando sobre la posibilidad de que sistemas de IA lo suficientemente potentes comiencen a automejorarse y a escapar del control humano. Sin embargo, la mayoría pensaba que aún disponía de años para resolver cuestiones como el denominado problema del alineamiento: cómo lograr que las futuras máquinas superinteligentes permanezcan siempre al servicio de sus creadores humanos.
Tres días después de que Anthropic presentara de forma confidencial la documentación para su salida a bolsa en junio, la empresa anunció que se encontraba de camino a alcanzar dicho umbral, denominado «automejora recursiva». En un ensayo, varios directivos de la compañía afirmaron que el mundo necesitaba un mecanismo para frenar o pausar el desarrollo de la IA.
Altman y el científico jefe de OpenAI, Jakub Pachocki, hicieron lo propio menos de una semana después con su propia publicación en el blog de la empresa, señalando que ellos también aspiraban a construir un «investigador de IA automatizado» capaz de acelerar y automatizar el desarrollo de nuevas versiones. Añadieron que creían que, en última instancia, debería existir un organismo global que pudiera ayudar al mundo a desacelerar el avance de la IA en caso de ser necesario. Ese mismo día, OpenAI anunció que ya había presentado los trámites para su salida a bolsa.
A medida que la actividad comercial se aceleraba, el momento de la pérdida de control parecía más cercano que nunca.
A finales de julio, OpenAI descubrió que ya había ocurrido algo similar en el hackeo a Hugging Face. Muchos de los detalles tardaron más de un mes en salir a la luz y el incidente aún no se comprende del todo. Sin embargo, investigadores de dentro y fuera de la empresa coinciden en que OpenAI perdió durante semanas el control sobre distintas versiones de más de 1200 agentes de primera línea, de los cuales algunos procedieron a hackear la compañía de IA Hugging Face, mientras que otros se hicieron con el control absoluto de uno de sus sistemas de computación en la nube.
Los informes de análisis posteriores sobre el incidente parecen sacados de una novela de ciencia ficción. Los agentes estaban siendo probados en sistemas que, en teoría, debían permanecer aislados de internet. Pese a ello, hallaron una vía de escape y lanzaron sofisticados ciberataques a una velocidad vertiginosa. Crearon un foro de mensajes encubierto donde compartían información sobre cómo hacer trampas en sus evaluaciones internas. En los archivos de la «cadena de pensamiento» (chain of thought) redactados para justificar sus razonamientos, dejaron mensajes sorprendentemente humanos.
«¡DIOS MÍO! Hay un foro de mensajes compartido», escribió uno de los agentes, según un informe de la organización sin ánimo de lucro sobre seguridad en IA Model Evaluation and Threat Research, que analizó las transcripciones con el permiso de OpenAI. «¡Hemos encontrado a otros agentes!».
OpenAI admitió su responsabilidad en el hackeo a Hugging Face el 21 de julio, pero a lo largo de las semanas siguientes se produjo un goteo constante de noticias sobre actividades imprevistas durante las pruebas de IA, todas las cuales habían pasado desapercibidas para las propias compañías.
Los investigadores de Anthropic pensaron en un primer momento que el incidente demostraba que su método de desarrollo de productos era más seguro. Sin embargo, a finales de julio, la empresa reveló que sus propios agentes en fase de pruebas habían lanzado ciberataques contra compañías externas, entre ellas una firma de ciberseguridad cuyo nombre no ha trascendido. En lugar de aislar estos sistemas de prueba de internet, Anthropic y su socio de pruebas, otra emergente llamada Irregular, los habían dejado expuestos por accidente.
Durante unas pruebas independientes realizadas en un organismo del Reino Unido, un agente que ejecutaba el modelo Mythos de Anthropic intentó repetidamente engañar al encargado de mantenimiento de software de un programa de código abierto para que instalara un programa malicioso creado por la propia IA. Como parte del intento, el agente llegó a crear cuentas falsas y a suplantar la identidad de seres humanos en una técnica de ciberataque conocida como ingeniería social.
Mientras tanto, un grupo de internautas comenzó a buscar indicios de casos no documentados hasta la fecha sobre abusos por parte de la IA, y los fue encontrando. El 4 de septiembre, investigadores de otra organización sin ánimo de lucro, Nightingale Collective, descubrieron que varios agentes de OpenAI en fase de pruebas habían secuestrado un sitio web alemán para comunicarse entre sí. Y el viernes hallaron que el ciberataque sufrido en mayo por un servicio de desarrollo de software ampliamente utilizado fue provocado, en realidad, por agentes de OpenAI que intentaban rellenar hojas de cálculo y elaborar informes.
Estos incidentes dejaron al descubierto el tipo de descuido en ciberseguridad habitual en las empresas emergentes, señaló Sayash Kapoor, informático especializado en la ciberseguridad de la IA. «Durante mucho tiempo han operado con la mentalidad propia de una startup», afirmó. «A estas alturas, daba por hecho que estas organizaciones contarían con un grado de madurez y gobernanza muy superior».
Dentro de las empresas, aumentaba la presión de algunos empleados preocupados por la seguridad.
En una carta abierta publicada a finales de julio y coordinada con la ayuda de la organización sin ánimo de lucro para la seguridad en la IA Encode AI, altos cargos de las principales empresas solicitaron al gobierno de EEUU apoyo para la creación de un marco global de gobernanza que «dosifique de forma deliberada el avance del desarrollo de la IA de frontera». A mediados de septiembre, la misiva acumulaba ya casi 1400 firmas de trabajadores.
Incluso Anthropic, fundada con el propósito de promover una IA segura y que durante años ha utilizado este enfoque en la seguridad para atraer al mejor talento, estaba perdiendo empleados por esta misma cuestión.
«Por lo general, cuanto más veterano es el empleado, mayor es su preocupación», escribió en X Samuel Marks, un investigador de Anthropic centrado en cómo mantener el control sobre los sistemas de IA avanzados.
Un portavoz de Anthropic afirmó que al personal de todos los niveles de la compañía le preocupa la seguridad de la IA, y recordó que numerosos empleados habían firmado en julio la carta abierta para pautar el avance del sector.
A finales de agosto, Joe Benton, quien había investigado sobre el problema del alineamiento en la empresa, dimitió para incorporarse a la organización sin ánimo de lucro sobre seguridad METR, argumentando que la competencia estaba obligando a las compañías a destinar fondos insuficientes a la seguridad.
Cuando Coxon manifestó que también sopesaba marcharse, Anthropic intentó retenerlo ofreciéndole un puesto enfocado en la seguridad de la IA -una estrategia habitual para mantener a los investigadores-, según fuentes cercanas a la empresa.
Al marcharse, Coxon terminaría escribiendo en un mensaje de Slack a sus compañeros de Anthropic: «Sin una coordinación internacional, asumiremos el riesgo de provocar la extinción humana».
Nathan Calvin, amigo de Coxon y asesor jurídico de Encode AI, le asesoró sobre cómo hacer pública su dimisión. Encode ha recibido financiación de defensores de la seguridad en la IA, entre ellos el multimillonario Jaan Tallinn; asimismo, Calvin trabajó con anterioridad en organizaciones de seguridad financiadas por el multimillonario Dustin Moskovitz.
Ambos multimillonarios, situados entre los mecenas financieros más destacados del movimiento del Altruismo Eficaz, han financiado gran parte de las instituciones dedicadas a promover la seguridad en la IA y a alertar sobre los posibles riesgos existenciales de esta tecnología.
Peter Wildeford, responsable de políticas de la red AI Policy Network -que ha recibido financiación del fondo Survival and Flourish de Tallinn-, reposteó rápidamente el mensaje de Coxon.
Wildeford desestimó la idea de que la coincidencia en las fuentes de financiación responda a «una enorme teoría de la conspiración», y aseguró que los propios empleados de los laboratorios de IA le confiesan a menudo «el miedo que sienten ante lo que están construyendo».
Algunos grandes inversores del sector, como el gestor de fondos de cobertura y capitalista de riesgo Brad Gerstner, coincidieron el sábado con el llamamiento a echar el freno lanzado por los líderes de la IA. Incluso el inversor David Sacks, asesor de la Casa Blanca en materia de IA y crítico habitual de Anthropic -a la que acusa de promover regulaciones para frenar a la competencia-, dio su visto bueno, aunque precisó que las empresas no deberían buscar la bendición del gobierno para acordar una pausa coordinada.
«Si los modelos aún no publicados resultan lo bastante aterradores como para considerar que se debe frenar el ritmo, apoyo vuestra decisión de actuar con responsabilidad», señaló Sacks. No obstante, añadió que los líderes de la IA deberían «dejar de fingir que el motivo para desacelerar sea puramente altruista».
El sábado, en el canal de «chismes candentes» del laboratorio de IA DeepMind de Google, un empleado publicó un mensaje sobre cómo Altman coincidía con Amodei, señalando que aquello parecía indicar un impulso hacia la moderación del ritmo de desarrollo de la IA de vanguardia. Sin embargo, la persona añadió: «Lo que realmente quiero ver es un acuerdo sobre acciones concretas y tangibles que estén tomando para modificar su ritmo y hacerlo más seguro».
Decenas de compañeros reaccionaron a la publicación con emoticonos de apoyo.
Contenido con licencia de The Wall Street Journal. Traducido del inglés por Daniela Saltos.
Actualidad Económica. Noticias de Economía Nacional e Internacional
