<p class=»ue-c-article__paragraph»>En esta era de anglicismos sin tregua, dos más golpean la sien del lector tecnológico: el <i><strong>poisoning </strong></i>(envenenamiento de datos) y los <i><strong>sleeper agents </strong></i>(agentes dormidos). Ambos surgen en el lado oscuro del ciberespacio, donde los criminales siempre afilan el dardo digital, y quedan íntimamente interconectados con la herramienta de todas las herramientas, esa inteligencia artificial generativa venida para quedarse.</p>
El cibercrimen utiliza este recurso para contaminar la precisión de los chatbots, generar respuestas sesgadas, extraer información y doblegar controles de seguridad
En esta era de anglicismos sin tregua, dos más golpean la sien del lector tecnológico: el poisoning (envenenamiento de datos) y los sleeper agents (agentes dormidos). Ambos surgen en el lado oscuro del ciberespacio, donde los criminales siempre afilan el dardo digital, y quedan íntimamente interconectados con la herramienta de todas las herramientas, esa inteligencia artificial generativa venida para quedarse.
Ningún avance progresa sin arrastrar algunos cadáveres. Los grandes modelos de lenguaje (LLM en sus siglas en inglés) como ChatGPT, Llama, Gemini o DeepSeek son la materia prima utilizada por centenares de startups para crear sus propios softwares y se integran cada día más en el engranaje operativo de medianas y grandes empresas deseosas de multiplicar su productividad. El problema es que también pueden representar una grieta, un coladero de enorme alcance.
Los agentes maliciosos, expone S2 Grupo en un documento elaborado en exclusiva para EL MUNDO, pueden aprovechar una API que instale el modelo en la interfaz de una organización para extraer información sensible, difundir datos erróneos o transformar prompts legítimos en otros falsos. Además, los LLMs utilizados para la generación de código son capaces de deslizar fragmentos defectuosos o inseguros. También es factible enmarañar las cadenas de suministro. E incluso es viable propiciar auténticos agujeros en los procesos de identificación de identidad.
«El alcance de este problema se vislumbra a través del ejemplo de una empresa que adopta un modelo de código abierto para su chatbot corporativo sin una auditoría previa. Sin saberlo, ha integrado un modelo con una puerta trasera, programada para activarse tras cierta cantidad de interacciones, alterando sus respuestas para recomendar enlaces fraudulentos», advierte el informe. «En muchos casos, las organizaciones mismas pueden desconocer la existencia de estas puertas traseras en los modelos que utilizan. Sin mecanismos efectivos de detección y auditoría, los LLMs podrían representar un riesgo latente para la seguridad corporativa y la privacidad de los usuarios».
Esta baraja amañada se reparte de diversos modos. Los agentes dormidos son un elemento desencadenante del poisoning. «Al modificar conjuntos de datos públicos con información contaminada, un atacante puede influir en el comportamiento futuro del modelo sin necesidad de acceso directo a su entrenamiento».
Tampoco es descartable que el LLM sea entrenado para actuar con normalidad salvo que se introduzcan ciertas palabras clave o se dé un determinado tipo de conversación. En tal escenario, el sleeper agent se encarga de que el modelo ofrezca respuestas imprecisas o sesgadas.
«Finalmente -continúa el informe de S2 Grupo-, los agentes dormidos pueden activarse bajo distintas condiciones, como la detección del entorno de uso o a partir de un número determinado de ejecuciones. Algunos modelos modifican sus respuestas según la ubicación del usuario. Otros son capaces de reconocer que están siendo evaluados en un entorno de prueba y ocultar su comportamiento real hasta estar en producción».
La idea base consiste en que las compañías que hacen uso de estas herramientas de IA, en apariencia mágicas y bastante precisas, incluyan en su hoja de gastos un software adicional de supervisión. Algo así como vigilar al obrero digital con un capataz no menos digital. En la UE, la AI Act exige que los LLM estén sujetos a auditorías, aunque no parece que el remedio sea suficiente para taponar este fenómeno aún relativamente desconocido.
Actualidad Económica
