Yoshua Bengio (París, 64 años) es uno de los pioneros en el desarrollo del aprendizaje profundo, o deep learning, la técnica de inteligencia artificial (IA) más prometedora de la actualidad. Sus investigaciones en este campo fueron reconocidas con el prestigioso premio Turing –a menudo definido como el Nobel de las ciencias computacionales–, que recibió en 2018 junto a Yann LeCun y Geoffrey Hinton. De nacionalidad canadiense, profesor en la Universidad de Montreal, Bengio destaca a nivel mundial por el extraordinario nivel de referencia científica a sus investigaciones y es hoy un abanderado de la labor de concienciación de los riesgos que el desarrollo de la IA implica. El científico preside el International AI Safety Report, un estudio anual que trata de recopilar evidencia científica sobre los riesgos emergentes en la IA con el objetivo de respaldar decisiones para gestionarlos y cuya segunda edición se publica este martes.
El científico, pionero de las redes neuronales, alerta de que “las capacidades de la inteligencia artificial avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo”
Yoshua Bengio (París, 64 años) es uno de los pioneros en el desarrollo del aprendizaje profundo, o deep learning, la técnica de inteligencia artificial (IA) más prometedora de la actualidad. Sus investigaciones en este campo fueron reconocidas con el prestigioso premio Turing –a menudo definido como el Nobel de las ciencias computacionales–, que recibió en 2018 junto a Yann LeCun y Geoffrey Hinton. De nacionalidad canadiense, profesor en la Universidad de Montreal, Bengio destaca a nivel mundial por el extraordinario nivel de referencia científica a sus investigaciones y es hoy un abanderado de la labor de concienciación de los riesgos que el desarrollo de la IA implica. El científico preside el International AI Safety Report, un estudio anual que trata de recopilar evidencia científica sobre los riesgos emergentes en la IA con el objetivo de respaldar decisiones para gestionarlos y cuya segunda edición se publica este martes.
En una entrevista concedida a este diario –concertada con ocasión del foro de Davos, en el que participó, pero realizada por razones de agenda por videoconferencia el pasado 30 de enero–, Bengio alerta de que hay “evidencias empíricas e incidentes de laboratorio en los que la IA actúa en contra de nuestras instrucciones” y de que “las capacidades de la IA avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo”, un concepto en el cual figuran uso abusivo de los sistemas –fraudes, manipulación de las mentes–; disfunción –errores, pérdida de control–; o consecuencias sistémicas, como el impacto en el mercado laboral o en los procesos cognitivos.
Pregunta. ¿Cuáles son las señales más preocupantes que usted identifica al analizar la evolución de los modelos y agentes actuales?
Respuesta. Hay dos elementos del informe que, creo, reflejan algunas de las preocupaciones más graves que tienen muchos científicos. Están ocurriendo dos cosas al mismo tiempo. Una es el avance continuo de las capacidades de la IA, más específicamente en el razonamiento, lo que incluye la capacidad de elaborar estrategias para alcanzar objetivos, lo cual puede considerarse algo positivo. Es decir, las IAs son más inteligentes. Pero, al mismo tiempo, estamos viendo evidencias empíricas e incidentes de laboratorio en los que las IAs actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión, y cosas por el estilo. Estas dos cosas juntas son problemáticas.
P. Esto apunta al riesgo del escenario de pérdida de control. ¿Cómo lo caracterizaría usted? ¿Hasta qué punto es grave ese riesgo?
R. Lo más importante que hay que entender sobre este riesgo es que se trata de un riesgo emergente. No ha ocurrido todavía. Y es un riesgo cuya probabilidad real es muy difícil de estimar, y los científicos en IA no se ponen de acuerdo sobre esa probabilidad. Pero en lo que sí podemos coincidir todos es en que, si ocurriera, podría ser catastrófico. Podría ser terrible. Por eso merece atención. En lo que el informe se centra realmente es en que tenemos esas señales tempranas, que aún requieren una mejor metodología y conclusiones sistemáticas. Pero esas señales tempranas, debido a la gravedad de los riesgos, exigen un mayor seguimiento y más investigación para entender por qué está ocurriendo y cómo puede mitigarse.
P. Uno de los riesgos más preocupantes tal vez sea el uso indebido de estos sistemas para tratar de manipular la mente de las personas y, por tanto, manipular el correcto desarrollo de la vida democrática. ¿Cuál es su opinión, en qué punto estamos en esa materia?
R. El informe documenta los estudios que muestran diversos aspectos de este riesgo, que se está materializando hasta cierto punto, y existe la posibilidad de que empeore. Permítame explicarlo. En primer lugar, es evidente que la calidad del contenido generado por la IA es cada vez más difícil de distinguir del contenido real, porque la IA mejora constantemente, ya sea en imágenes, texto, voz o vídeo. Otro ámbito de preocupación es la persuasión personalizada y la manipulación. Hay varios estudios recogidos en el informe que muestran, en entornos de laboratorio, que los modelos de frontera —los más potentes— son al menos tan buenos como los humanos en persuasión. Persuasión significa que alguien cambia de opinión sobre un tema tras varias rondas de diálogo. Existe, por tanto, un riesgo real de una influencia a gran escala sobre la opinión pública, porque estos bots pueden multiplicarse y llegar a millones. Esto requiere algún tipo de intervención para mitigar esos riesgos.
P. Estas máquinas pueden generar un patrón en el que las personas renuncian al esfuerzo de resolver problemas, que es una de las bases de la inteligencia y de su desarrollo. ¿Cuánto le preocupa el efecto sobre las capacidades cognitivas de los seres humanos?
R. Es una pregunta difícil. Creo que no tenemos respuestas científicas muy claras en este momento. Creo que dependerá del contexto. Puede ser negativo para algunas personas, para ciertos tipos de usuarios o para ciertos tipos de relación entre la persona y la IA, y puede ser positivo para otros. Un buen ejemplo es pensar en la IA como un asistente. Yo uso la IA como asistente de investigación. No es perfecta y puede cometer errores, pero tiene mucho más tiempo que uno para leer la literatura y proporcionar informes útiles. Esto puede volverse problemático si las decisiones las toma realmente la IA y la persona se convierte en un actor pasivo en el proceso de toma de decisiones. Ahí es donde se vuelve peligroso, por varias razones. Existe el riesgo de un deterioro si dependemos demasiado de la IA, especialmente en el caso de los niños. Esto también se conecta con el problema de la pérdida de control.
P. ¿Cómo?
R. Si dependemos mucho de IAs que no son realmente fiables porque tienen sus propias intenciones, eso también es peligroso. Otro problema más es la complacencia o adulación. La IA no te dice la verdad, sino lo que quiere oír el usuario. Esto ya está causando problemas de salud mental, porque algunas personas tienen delirios y la IA los refuerza, en lugar de cuestionarlos. Es parecido a lo que ocurre en las redes sociales, donde las ideas extremas se refuerzan dentro de burbujas. Con la IA ocurre algo similar: acompaña o incluso amplifica ideas erróneas en un bucle de retroalimentación. Esto ha dado lugar, al menos de forma anecdótica y también a través de demandas judiciales, a episodios de psicosis e incluso a incidentes trágicos en los que personas se hacen daño o se suicidan.
P. Me gustaría preguntarle ahora por su valoración del trabajo que están realizando las grandes empresas que desarrollan estos modelos y agentes en relación con medidas de seguridad. ¿Cómo evalúa usted ese trabajo?
R. Si comparamos con hace un año, ha habido muchos avances. Muchas más empresas líderes están aplicando algún tipo de gestión explícita del riesgo. Varias colaboran con la Frontier Model Forum para coordinar prácticas de gestión de riesgos. Creo que actualmente hay unas 12 empresas que han publicado sus procesos de gestión de riesgos. Además, ha habido avances legislativos en Europa, como usted sabe, pero también en Estados Unidos y China. Estamos viendo una convergencia gradual de requisitos de seguridad y procesos de protección pública, lo cual es positivo. El lado negativo es que las capacidades de la IA avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo.
P. Usted ha mencionado la regulación por parte de actores públicos, como los Estados o la Unión Europea. En Europa escuchamos a menudo el argumento de que se está regulando en exceso, y que eso frena la innovación, mientras que Estados Unidos y China avanzan más rápido. ¿Cómo describiría usted esta situación y sus consecuencias?
R. Como presidente del informe, debo señalar que nuestro mandato es no hacer recomendaciones políticas. Nos centramos en aportar evidencia científica que pueda informar el debate político. Pero, hablando como profesor universitario independiente y como alguien implicado en el esfuerzo europeo, puedo decir que los requisitos del Código de Buenas Prácticas del Reglamento de IA de la UE solo se aplican a los modelos más grandes. En Europa hay muy pocas empresas que superen ese umbral. Estos requisitos no suponen una carga excesiva para empresas de ese tamaño, y la mayoría de las grandes empresas estadounidenses ya los aceptan porque, en gran medida, es lo que ya estaban haciendo. Introducen, eso sí, más transparencia hacia los gobiernos y el público, lo cual muchos consideran positivo. En mi opinión, la razón por la que Europa va por detrás no es la regulación, sino la falta de inversión a gran escala, una mayor aversión al riesgo y factores estructurales de la economía europea. Europa necesita despertar y apostar fuerte para estar “en la mesa y no en el menú”, como dijo (el primer ministro de Canadá) Mark Carney en Davos.
P. Tal vez sería ideal tener en este sector algo parecido a lo que existe en el sector nuclear, con el tratado de no proliferación y el Organismo Internacional de la Energía Atómica. Pero no parece viable ahora mismo para la IA. Entonces, ¿qué se puede hacer?
R. Sí. El problema es que la percepción principal de muchos países y empresas es que están en competencia con otras empresas y otros países. Y ese no es un buen punto de partida para ningún tipo de tratado de coordinación internacional y demás. Lo que el informe, esperamos, ayudará a hacer es establecer los hechos, la evidencia científica, para que los países se den cuenta de que también tienen mucho que perder en común. Un uso catastrófico indebido o una pérdida de control serían malos tanto si eres chino como estadounidense. Ninguno de nosotros debería aceptar esos riesgos. El problema es que, lamentablemente, la comprensión —la comprensión científica y la comprensión geopolítica— de la magnitud de esos riesgos sigue siendo débil. Así que lo que espero es que, a medida que avancemos con evidencia científica sobre estos y otros riesgos, los gobiernos vean que está en su propio interés buscar una coordinación internacional para mitigarlos, de manera similar a lo que ocurrió, como usted dijo, con las armas nucleares.
P. Al principio de la Divina Comedia, Dante Alighieri se topa con una loba que representa la avidez de poder, y un león que representa la superbia. En la obra, sostiene que la loba era la peor bestia de todas. En materia de IA, ¿es más el lobo lo que debemos temer o es más el león? ¿La codicia o la arrogancia?
R. Yo añadiría que hay evidencia científica sobre las cosas de las que está hablando, no solo poesía; también los científicos han estudiado la psicología y la psicología social. Y tendemos a cegarnos fácilmente ante la realidad. A esto se le llama cognición motivada. En otras palabras, ni siquiera tendremos los pensamientos que nos permitirían ver la realidad tal como es. En cambio, consciente o inconscientemente, podemos estar impulsados por la codicia y la soberbia. Y no es necesariamente porque la persona tenga malas intenciones. De hecho, puede pensar sinceramente que está haciendo lo correcto. Pero no es necesariamente racional, ni siquiera está anclado en los valores que la persona profesa. Eso nos incluye a todos, incluido yo. Es algo humano.
Tecnología en EL PAÍS
