OpenAI, la empresa desarrolladora de ChatGPT, anunció la semana pasada que uno de sus modelos había sido capaz de resolver el llamado “problema de existencia y suavidad” de Navier-Stokes, uno de los siete Problemas del Milenio del Clay Institute, considerados los más complejos de la historia de las matemáticas. Y se rumorea que están a punto de desbloquear otro. El de Navier-Stokes llevaba 90 años esperando ser solucionado. La empresa que dirige Sam Altman dice que lo consiguió en 88 horas usando 10.000 agentes de inteligencia artificial (IA), aunque ya ha reconocido que aplicó el método desarrollado por dos científicos españoles y sigue sin aclarar si ha utilizado también el trabajo de otro investigador de Anthropic, su principal competidor. “No usamos sus prompts [preguntas o peticiones] ni sus pruebas para dirigir a nuestros modelos o agentes”, dijo un portavoz de OpenAI a propósito de esto último. Y añadió que, “aunque improbable, no podemos descartar que datos derivados del uso de nuestros productos ayudaran a mejorar nuestros modelos”.
La resolución de uno de un reto matemático por OpenAI da alas a la sospecha de que estas herramientas podrían estar extrayendo información, según los expertos
OpenAI, la empresa desarrolladora de ChatGPT, anunció la semana pasada que uno de sus modelos había sido capaz de resolver el llamado “problema de existencia y suavidad” de Navier-Stokes, uno de los siete Problemas del Milenio del Clay Institute, considerados los más complejos de la historia de las matemáticas. Y se rumorea que están a punto de desbloquear otro. El de Navier-Stokes llevaba 90 años esperando ser solucionado. La empresa que dirige Sam Altman dice que lo consiguió en 88 horas usando 10.000 agentes de inteligencia artificial (IA), aunque ya ha reconocido que aplicó el método desarrollado por dos científicos españoles y sigue sin aclarar si ha utilizado también el trabajo de otro investigador de Anthropic, su principal competidor. “No usamos sus prompts [preguntas o peticiones] ni sus pruebas para dirigir a nuestros modelos o agentes”, dijo un portavoz de OpenAI a propósito de esto último. Y añadió que, “aunque improbable, no podemos descartar que datos derivados del uso de nuestros productos ayudaran a mejorar nuestros modelos”.
Este último punto es clave. OpenAI no deja claro si el uso que haya hecho un científico —o cualquier otro usuario— de sus modelos pasa a formar parte de la herramienta, es decir, si se incorpora al modelo. “OpenAI es muy poco transparente respecto a lo que hace con las interacciones con los usuarios”, apunta Julio Gonzalo, catedrático de Lenguajes y Sistemas Informáticos de la UNED y vicerrector adjunto de investigación.
¿Podrían, entonces, los chatbots de IA robarle una idea a un usuario y ofrecérsela a otro? No hay una respuesta sencilla a esta pregunta. Primero, porque cada vez sabemos menos sobre cómo funcionan estos modelos. Y segundo, porque las propias compañías que desarrollan estas herramientas son bastante opacas respecto a las fuentes de datos con las que nutren sus modelos.
Entrenamiento de los modelos
Antes de que un modelo de IA pueda usarse, debe someterse a la llamada fase de entrenamiento. Ese proceso consiste en aplicar un algoritmo a una gigantesca base de datos para que realice una serie de acciones. El aprendizaje profundo, que es una de las estrategias de IA más usadas en la actualidad, aplica redes neuronales (varias capas de modelos conectados entre sí) directamente sobre un conjunto de datos para que extraigan patrones. El sistema aprende de forma autónoma, sin necesidad de programarlo, aunque los resultados se pueden refinar luego manualmente (aprendizaje supervisado) para que el sistema vea cuáles son buenos y cuáles no, y persista por el camino indicado.
Para que estos sistemas funcionen, hacen falta tres cosas: una gran capacidad de computación (para llevar a cabo el proceso de entrenamiento y el de inferencia, es decir, la gestión de cada petición o prompt contra el modelo ya acabado), la formulación técnica de buenos algoritmos y unas bases de datos lo suficientemente grandes y relevantes como para que lo que aprendan los modelos tenga sentido.
Esto último es crucial. Cuanto mejor sean los datos con los que se trabaja, mejor será el modelo. Y el problema es que los datos están empezando a escasear. Según algunas estimaciones, el modelo GPT4 (el que está dos versiones por detrás del más potente de ChatGPT) ya se nutrió de todos los contenidos de internet, además de muchos otros archivos. Las empresas desarrolladoras de IA buscan nuevas formas de alimentar sus bases de datos. “No se sabe del todo qué hacen OpenAI o Anthropic para que sus modelos aprendan. Solo tenemos intuiciones y lo que dicen quienes han trabajado allí. Sí está bastante claro que entrenan sobre las conversaciones que tiene la gente con ellos, pero en teoría no con todas”, sostiene Álvaro Barbero, director del AI Lab en la empresa de prevención de fraude Lynx Tech y profesor en Afi Global Education.
“Las interacciones con los usuarios son una fuente de información muy valiosa para el entrenamiento de los modelos”, señala Gonzalo. “Esa información queda integrada con toda la cantidad inmensa de datos que los modelos tienen, que proviene sobre todo de internet, junto a otra que a lo mejor generan los propios trabajadores en la empresa”, apunta Carlos Gómez Rodríguez, catedrático de Computación e Inteligencia Artificial de la Universidad de La Coruña y experto en procesamiento del lenguaje natural, la rama de la IA que busca comprender y generar textos.
¿Podría darse el caso de que un investigador escriba prompts que contengan ideas valiosas, y que esas ideas le aparezcan a otro usuario al cabo de unos meses, cuando esté disponible una nueva versión del modelo que se haya actualizado con esas peticiones?
“Sobre el papel, podría ser que, si en los prompts con los que se entrena el modelo hay información útil para resolver un problema determinado, se aplique en peticiones posteriores. No es algo que se pueda demostrar al 100%, pero es lógico pensar que sí”, indica Gómez. Pero tampoco existe la certeza de que se aprovechen todos los prompts. “Hoy por hoy, no hay forma de saber si algún prompt en particular quedó representado en el modelo. No se puede seguir esa traza, porque en el proceso de entrenamiento se van modificando los pesos del modelo, que son como una enorme matriz de números que realmente ni siquiera podemos interpretar”, añade Gómez.
“El proceso de aprendizaje hace una especie de compresión con pérdidas, y cuanto más raro o infrecuente es lo que lee, más probable es que no lo memorice bien”, explica Gonzalo. Es decir: los prompts más raros tienen menos posibilidades de ser incorporados al modelo. “Pero también sucede a la inversa: cuanto más específica y rara sea la conversación del nuevo usuario, más probable es que el modelo recuerde conversaciones sobre ese tema raro y específico. En conjunto, es posible, aunque no inevitable, que las ideas originales que compartes con un modelo puedan acabar siendo utilizadas por otros”, concluye.
Control de los datos
Si lo que teclean los usuarios puede ser usado por el modelo para entrenarlo y ser regurgitado posteriormente a otro, ¿deben temer las empresas por la seguridad de sus secretos industriales?
La solución de OpenAI o Anthropic está en el pago. “Si usas la versión gratuita, no te dan ninguna garantía de que no vayan a usar tus datos para entrenar, o sea, que probablemente no lo están haciendo”, ilustra Barbero. “En teoría, si eres una empresa y firmas un acuerdo profesional con OpenAI o con Anthropic, se supone que tienen cláusulas por las que no pueden usar tus conversaciones para mejorar sus modelos. Digo en teoría porque, por ejemplo, Anthropic tuvo que pagar compensaciones a autores de libros cuando se descubrió que habían descargado muchos de sitios piratas”.
Volviendo a la resolución de grandes problemas matemáticos, Gómez incide en que la IA ya había resuelto otros antes del de Navier-Stokes. También añade que los expertos en ese problema en particular dicen que el modelo también hizo aportaciones (no solo siguió la línea de investigación de terceros). Tampoco sería raro que se esté atendiendo con especial atención las aportaciones en forma de prompts de los usuarios más capaces. “OpenAI está ofreciendo a científicos, matemáticos e ingenieros destacados acceso libre a sus modelos de frontera”, apunta Gonzalo. “Pensar que lo hacen de forma altruista sería muy ingenuo, con todo lo que estamos viendo”.
Tecnología en EL PAÍS
