<p class=»ue-c-article__paragraph»>Hace unos días, la startup barcelonesa <strong>NeuralTrust,</strong> especializada en seguridad aplicada a la IA, levantaba la inmensa alfombra de los grandes modelos de lenguaje (LLM). Su equipo acababa de detectar una grieta en la estructura de las muy populares herramientas de inteligencia artificial generativa de <strong>OpenAI</strong> y<strong> Google. </strong>La amenaza, denominada echo chamber attack, es capaz de manipular los algoritmos para que produzcan contenido violento o ilegal e incluso inciten al odio entre colectivos. «El echo chamber attack es una técnica de manipulación psicológica que condiciona cómo la IA recuerda y razona. No funciona con código sospechoso ni con palabras maliciosas obvias. Lo que hace es envenenar sutilmente la memoria de la IA con tan solo unas pocas frases, atrapando al modelo en un bucle de retroalimentación que lo obliga a romper sus propias reglas de seguridad», explica la compañía.<br>Lo que evidencia este hallazgo es crítico. Resulta que esos LLM convertidos ya en buscadores de nueva generación, en amigos de chavales solitarios, en consultores psicológicos, en delineantes de vacaciones y en instrumentos de productividad de cientos de miles de empresas son como internet: una vasta extensión donde, si una organización no se protege, puede acabar escarmentada. El modelo B2B de NeuralTrust aborda esa cuestión y propone un software que protege, prueba y escala los grandes modelos de lenguaje «detectando vulnerabilidades, bloqueando ataques, monitorizando el rendimiento» y ateniéndose a la normativa aplicable.<br><strong>Joan Vendrell </strong>(CEO) y <strong>Rodrigo Fernández</strong> (Head of Growth) tienen motivos para sonreír. En la pasada edición de <strong>South Summit,</strong> la feria más afamada del ecosistema en España, su compañía se llevó dos galardones como ganadora del vertical trust tech & data y como startup más escalable. Semejante espaldarazo allana el terreno de la negociación con los inversores. Vendrell desliza que antes del otoño se anunciará la primera ronda de NeuralTrust, que ya permitirá hacerse una idea del valor de mercado que los analistas de las gestoras de venture capital atribuyen a la firma catalana. «Con la ciberseguridad podría ocurrir lo mismo que con los LLM. Europa puede verse de repente muy lejos de las empresas de Estados Unidos que dominan el mercado, aunque exista la reseñable excepción de la francesa <strong>Mistral.</strong> Nuestra propuesta enlaza claramente con el deseo expresado desde Bruselas por recuperar la soberanía tecnológica. Es crucial que exista un jugador fuerte en nuestro vertical teniendo en cuenta que los LLM estarán en todas partes e incluso que interactuarás con un agente de IA por teléfono sin darte cuenta de que no estás hablando con un humano», expone el CEO.<br>La industria se sumerge mes a mes, a golpe de titulares y embargada por las cualidades casi milagrosas de la IA, en un cambio total de plataforma. Sectores con fricciones habituales en los departamentos de atención al cliente (bancos, aseguradoras, aerolíneas) migran hacia el territorio LLM. Sobre el papel, las ventajas son enormes: más eficacia, menos costes y profesionales dedicados a tareas de mayor valor añadido. Pero los riesgos también crecen, «abriéndose un nuevo mundo de ataques, engaños y fallas de seguridad», sobre todo porque, desde el momento en que un LLM accede al corpus de conocimiento y procesos de las compañías y la multiplicidad de fuentes se transforma en un único silo, el atacante sólo tiene que apuntar en una única dirección.</p>
Cerca de anunciar una ronda de inversión, NeuralTrust monitoriza el uso de los LLM para evitar que agentes maliciosos propicien el robo de datos o las respuestas sesgadas.
Hace unos días, la startup barcelonesa NeuralTrust, especializada en seguridad aplicada a la IA, levantaba la inmensa alfombra de los grandes modelos de lenguaje (LLM). Su equipo acababa de detectar una grieta en la estructura de las muy populares herramientas de inteligencia artificial generativa de OpenAI y Google. La amenaza, denominada echo chamber attack, es capaz de manipular los algoritmos para que produzcan contenido violento o ilegal e incluso inciten al odio entre colectivos. «El echo chamber attack es una técnica de manipulación psicológica que condiciona cómo la IA recuerda y razona. No funciona con código sospechoso ni con palabras maliciosas obvias. Lo que hace es envenenar sutilmente la memoria de la IA con tan solo unas pocas frases, atrapando al modelo en un bucle de retroalimentación que lo obliga a romper sus propias reglas de seguridad», explica la compañía.
Lo que evidencia este hallazgo es crítico. Resulta que esos LLM convertidos ya en buscadores de nueva generación, en amigos de chavales solitarios, en consultores psicológicos, en delineantes de vacaciones y en instrumentos de productividad de cientos de miles de empresas son como internet: una vasta extensión donde, si una organización no se protege, puede acabar escarmentada. El modelo B2B de NeuralTrust aborda esa cuestión y propone un software que protege, prueba y escala los grandes modelos de lenguaje «detectando vulnerabilidades, bloqueando ataques, monitorizando el rendimiento» y ateniéndose a la normativa aplicable.
Joan Vendrell (CEO) y Rodrigo Fernández (Head of Growth) tienen motivos para sonreír. En la pasada edición de South Summit, la feria más afamada del ecosistema en España, su compañía se llevó dos galardones como ganadora del vertical trust tech & data y como startup más escalable. Semejante espaldarazo allana el terreno de la negociación con los inversores. Vendrell desliza que antes del otoño se anunciará la primera ronda de NeuralTrust, que ya permitirá hacerse una idea del valor de mercado que los analistas de las gestoras de venture capital atribuyen a la firma catalana. «Con la ciberseguridad podría ocurrir lo mismo que con los LLM. Europa puede verse de repente muy lejos de las empresas de Estados Unidos que dominan el mercado, aunque exista la reseñable excepción de la francesa Mistral. Nuestra propuesta enlaza claramente con el deseo expresado desde Bruselas por recuperar la soberanía tecnológica. Es crucial que exista un jugador fuerte en nuestro vertical teniendo en cuenta que los LLM estarán en todas partes e incluso que interactuarás con un agente de IA por teléfono sin darte cuenta de que no estás hablando con un humano», expone el CEO.
La industria se sumerge mes a mes, a golpe de titulares y embargada por las cualidades casi milagrosas de la IA, en un cambio total de plataforma. Sectores con fricciones habituales en los departamentos de atención al cliente (bancos, aseguradoras, aerolíneas) migran hacia el territorio LLM. Sobre el papel, las ventajas son enormes: más eficacia, menos costes y profesionales dedicados a tareas de mayor valor añadido. Pero los riesgos también crecen, «abriéndose un nuevo mundo de ataques, engaños y fallas de seguridad», sobre todo porque, desde el momento en que un LLM accede al corpus de conocimiento y procesos de las compañías y la multiplicidad de fuentes se transforma en un único silo, el atacante sólo tiene que apuntar en una única dirección.
Entre los riesgos, Vendrell indica la posibilidad de «manipular» a la IA para que «toque temas muy sensibles de política y ética», el robo de datos y el poisoning (alterar el entrenamiento del LLM para que conteste con sesgos, imprecisiones y falsedades). El contexto exige nuevas formas de protección y NeuralTrust ofrece cuatro: seguridad defensiva (protegiendo tanto al usuario como a la IA), ataques de prueba para detectar debilidades, escaneo de código (los programadores usan muchos paquetes open source y muchas librerías de internet y al importarse alguno de ellos es posible que contengan elementos maliciosos) y un módulo de alerta que genera advertencias si detecta algo raro en el mapa de todas las IA que utiliza una empresa. «A un año vista –señala Vendrell– el objetivo es alcanzar el millón de euros en ARR (ingresos recurrentes anuales) y contar con 20 clientes (compañías de gran tamaño)». Actualmente, NeutralTrust opera en la UE, EEUU e India.
En las IA disponibles y utilizadas hoy, la tasa de ataque es del 0,4%, un porcentaje ínfimo que crecerá conforme las organizaciones consoliden el viraje hacia estas nuevas formas de trabajo. «El riesgo aumentará cuando las personas que recurren a la IA aprendan a interactuar mejor con ella», vaticinan Vendrell y Fernández. De ahí que el «hacking ético» sea tan importante para adelantarse. «Lo primero que recomendamos al cliente es lanzar nosotros el ataque. Las brechas se taponan gracias a este punto de partida. Entonces se implementa un sistema que monitoriza en tiempo real y mira cosas como la cadencia con que interactúas con la IA, el IP, el navegador que utilizas, cómo te comunicas a nivel semántico con la máquina… todo eso cambia cuando se trata de un actor malicioso. En Europa somos los campeones, pero competimos contra firmas de EEUU e Israel».
Averiguar si los LLM son naturalmente vulnerables no es tan sencillo. «Es difícil ponerles nota, pero siempre van a surgir grietas. La manera de razonar y contestar de una IA se presta a ataques de manipulación. Puedes plantearles cosas que afectarán al modo en que contestan», apunta el CEO de NeuralTrust. Yendo más allá, y tomando como referencia el apagón registrado en España el 28 de abril, cabe plantear un futuro escenario donde el colapso en infraestructuras básicas de un país se orqueste también a través de estas herramientas y en conjunción con otras. «De repente, con el apagón nos dimos cuenta no ya de la dependencia que tenemos de la electricidad, sino de los sistemas digitales. A medida que la IA se incorpore a más facetas de la sociedad, la sensación de supeditación también estará ahí». Ese vínculo entre el hombre y la tecnología se intensificará con el advenimiento de los agentes autónomos, el capítulo que sigue al tsunami de ChatGPT. «Será como tener a un equipo de expertos tremendamente bueno en cualquier ámbito, desde los asuntos que resolvería un abogado hasta el mantenimiento de la casa», augura Vendrell.
Actualidad Económica
