Envenenamiento de datos (data poisoning)
El envenenamiento de datos es un ataque en el que se introducen ejemplos manipulados en los datos que un modelo de IA usa para entrenar o aprender, con el fin de que aprenda comportamientos incorrectos, sesgos puntuales o "puertas traseras" que el atacante puede activar después.
Definición rápida
El envenenamiento de datos es un ataque en el que se introducen ejemplos manipulados en los datos que un modelo de IA usa para entrenar o aprender, con el fin de que aprenda comportamientos incorrectos, sesgos puntuales o "puertas traseras" que el atacante puede activar después.
Explicación ampliada
Por qué importa para tu empresa
Para una empresa con un asistente IA conectado a sus documentos internos (lo más común desde 2024), el envenenamiento de RAG es un riesgo real, no teórico. Si tu sistema indexa todo lo que está en SharePoint, cualquier persona con permiso de subida puede colocar un documento que envenenará las respuestas. La mitigación pasa por: control de acceso a las fuentes que se indexan, revisión humana de documentos nuevos en colecciones críticas, monitorización de respuestas anómalas, y aislamiento entre el corpus IA y los datos de usuario sin curar.
Ejemplo concreto
Una pyme jurídica detectó que su asistente IA, conectado al SharePoint del despacho, daba a veces respuestas extrañamente concretas sobre un caso particular cuando se le preguntaba en general. Investigando, encontraron un documento subido por un becario con resúmenes inventados que se había indexado entre los documentos reales. No era un ataque malicioso —solo un becario haciendo prácticas de redacción— pero el efecto era el mismo: el asistente respondía con datos falsos. Pasaron a aprobar manualmente todo documento entrante a las carpetas indexadas. La revisión añade ~10 minutos al alta de cada documento; les pareció barato.