Sesgo de automatización (automation bias)
El sesgo de automatización es la tendencia humana a confiar excesivamente en las decisiones que produce un sistema automatizado, incluso cuando hay evidencia razonable que apunta a un error. Es uno de los riesgos psicológicos más estudiados en la interacción humano-máquina y se vuelve crítico en sistemas IA con supervisión humana.
Definición rápida
El sesgo de automatización es la tendencia humana a confiar excesivamente en las decisiones que produce un sistema automatizado, incluso cuando hay evidencia razonable que apunta a un error. Es uno de los riesgos psicológicos más estudiados en la interacción humano-máquina y se vuelve crítico en sistemas IA con supervisión humana.
Explicación ampliada
Por qué importa para tu empresa
Para una empresa que diseña sistemas IA con supervisión humana (lo que el AI Act llama oversight humano efectivo), el sesgo de automatización es el enemigo invisible. Si el sistema está pensado para que un humano revise y apruebe pero la persona aprueba el 99% sin examinar realmente, el control es ficción. Las mitigaciones probadas: dar al revisor incentivo y tiempo (no medir su productividad por número de aprobaciones); presentarle la información en formato que invite a pensar (no solo aprobar/rechazar); rotar revisores; pedir justificación escrita cuando coincide con el sistema, no solo cuando difiere; auditoría aleatoria de muestras ya aprobadas para detectar errores. Sin mitigación, el sesgo de automatización transforma la supervisión humana en sello de goma.
Ejemplo concreto
Un caso paradigmático fuera del entorno corporativo: el escándalo del Post Office Horizon en Reino Unido (2000-2025), donde más de 900 jefes de oficinas de correos fueron procesados por contabilidad falsa basándose en datos de un software defectuoso. Los inspectores y los jueces aceptaron sistemáticamente lo que el sistema decía, en parte por sesgo de automatización. Resultado: condenas erróneas a personas inocentes, vidas destrozadas, y la mayor revisión judicial de la historia del Reino Unido. La lección para empresa es directa: si tu sistema IA toma decisiones que afectan a personas y la supervisión humana está mal diseñada, puedes terminar con un caso similar a escala más pequeña. AI Act y derechos fundamentales obligan a evitarlo.