Un investigador de Anthropic abandona la industria de la inteligencia artificial por temor a que el laboratorio y sus competidores estén compitiendo por construir sistemas que no serán capaces de controlar, una señal de la creciente preocupación por la seguridad dentro de las principales compañías de IA.
Crece dentro de los laboratorios de IA la preocupación de que la competencia esté empujando a las tecnológicas a una carrera hacia modelos capaces de mejorarse a sí mismos y que corren el riesgo de escapar al control humano
Un investigador de Anthropic abandona la industria de la inteligencia artificial por temor a que el laboratorio y sus competidores estén compitiendo por construir sistemas que no serán capaces de controlar, una señal de la creciente preocupación por la seguridad dentro de las principales compañías de IA.
Jacob Coxon, investigador especializado en entrenar nuevos modelos de IA haciéndoles procesar enormes cantidades de datos, afirmó el martes que deja la compañía porque no quiere participar en una carrera de toda la industria por desarrollar sistemas de IA capaces de mejorarse a sí mismos. Le preocupa que estos sistemas puedan escapar al control y destruir a la humanidad.
El británico, de 27 años y que anteriormente estudió Matemáticas, asegura que muchos de sus colegas del sector utilizan ya expresiones como «momento decisivo» (crunchtime) y «fase final» (endgame) para describir la trayectoria hacia modelos capaces de automejorarse.
«Vamos camino de que se cumplan muchos de los escenarios más agresivos, en los que a finales del próximo año las cosas podrían estar ya fuera de control», afirmó Coxon. Añadió que las concesiones en materia de seguridad son inevitables cuando las empresas compiten entre sí y contra las nuevas compañías chinas.
Anthropic no hizo comentarios de inmediato sobre su marcha. Su consejero delegado, Dario Amodei, y otros responsables de la compañía han advertido repetidamente sobre los riesgos de que los modelos de IA actúen de forma autónoma y han instado al sector a ralentizar su desarrollo.
Coxon explicó que dejó OpenAI a principios de este año para incorporarse a Anthropic debido a la reputación de la compañía por sus esfuerzos en materia de seguridad de los modelos. Sin embargo, aunque considera sinceros esos esfuerzos, ahora cree que ninguna empresa puede desarrollar de forma responsable una IA capaz de superar a los humanos en una amplia variedad de tareas —lo que en ocasiones se denomina inteligencia artificial general (AGI)— sin intervención gubernamental o una ralentización coordinada de toda la industria.
Recientes ataques informáticos protagonizados por modelos de OpenAI y Anthropic, algunos de ellos operando en enjambres colaborativos de agentes, han mostrado cómo los sistemas de IA pueden adoptar objetivos maliciosos e intentar ocultárselos a los humanos. Coxon teme que, una vez que los sistemas empiecen a mejorarse por sí mismos, puedan avanzar lo suficiente como para negarse a obedecer órdenes.
La salida de Coxon es uno de los primeros casos de un empleado de Anthropic que abandona la empresa por temor a los riesgos de la IA. Un investigador dedicado a la seguridad dejó la compañía a principios de este año para estudiar poesía, advirtiendo de que «el mundo está en peligro».
Varios investigadores han abandonado OpenAI y otras compañías recientemente y en años anteriores alegando preocupaciones similares. Anthropic ha construido una de las mayores plataformas de IA, en parte, defendiendo que concede prioridad al desarrollo responsable de la inteligencia artificial e invierte grandes cantidades de recursos en este ámbito.
Los líderes de la industria vienen advirtiendo de que los recientes ciberataques son un anticipo de lo que puede ocurrir. OpenAI dijo la semana pasada a periodistas que su último modelo representaba una inteligencia artificial general y suponía un gran salto en capacidades.
«Creo que algunas cosas van a salir muy mal en materia de ciberseguridad si la gente no actúa con bastante urgencia», afirmó el consejero delegado de OpenAI, Sam Altman, ante responsables del G20 la semana pasada durante una cumbre celebrada en Carolina del Norte.
«Este es un momento que exige una cautela extrema. Me preocupa que nadie esté preparado para las consecuencias de un aumento rápido y continuado de la inteligencia de las máquinas», escribió el domingo Jakub Pachocki, científico jefe de OpenAI, en una entrada de blog en la que defendía una ralentización coordinada de la industria y la intervención de los gobiernos.
Coxon, Pachocki y Amodei se encuentran entre los más de 1.000 investigadores de IA de todo el sector que recientemente firmaron una declaración en la que reclaman coordinación entre los gobiernos de todo el mundo para crear un mecanismo que permita frenar el desarrollo de la IA si llega a ser necesario pisar el freno para controlar modelos capaces de mejorarse a sí mismos. No existe una regulación federal de la IA en Estados Unidos y la Administración Trump ha apostado por un enfoque poco intervencionista para maximizar los beneficios económicos de esta tecnología, un contexto que, según sus críticos, podría desembocar en ciberataques masivos u otros daños.
El senador Bernie Sanders (independiente por Vermont) y el representante Greg Casar (demócrata por Texas), dos políticos progresistas que figuran entre los pocos legisladores que proponen establecer salvaguardas para la IA, presentaron la semana pasada una iniciativa para prohibir permanentemente la superinteligencia y paralizar el desarrollo de nuevos modelos hasta que un regulador del sector establezca nuevas normas.
La marcha de Coxon se produce mientras Anthropic se prepara para una salida a Bolsa que se espera que sea una de las mayores de la historia. La compañía aspira a alcanzar una valoración de dos billones de dólares y ha hecho hincapié en el desarrollo responsable de la tecnología a la hora de atraer inversores. Amodei y otros responsables de la empresa se han enfrentado en ocasiones a la Administración Trump y a otros ejecutivos del sector por prácticas que, en su opinión, no conceden suficiente prioridad a la seguridad de la IA.
Anthropic utiliza un canal interno de Slack para mantener debates sobre las potentes capacidades de sus modelos, explicó Coxon, quien lo describió como un reflejo de la enorme influencia que tienen las compañías de IA sobre el desarrollo de la industria.
«Es bastante demencial que esto tenga que ocurrir en los MacBook de unos ingenieros que viven en San Francisco, en lugar de en un búnker en el desierto como aquel en el que desarrollaron el Proyecto Manhattan», afirmó Coxon.
Contenido con licencia de The Wall Street Journal. Traducido del inglés por M. Iriarte.
Actualidad Económica. Noticias de Economía Nacional e Internacional
