Sesgo algorítmico
El sesgo algorítmico es la tendencia de un sistema de IA a producir resultados sistemáticamente desfavorables para ciertos grupos (por género, edad, origen, discapacidad u otra característica) debido a patrones presentes en los datos con los que se entrenó. No es intencional, pero sus consecuencias son reales y, en muchos casos, ilegales. En IA generativa aparece en respuestas, recomendaciones y resúmenes.
Definición rápida
El sesgo algorítmico es la tendencia de un sistema de IA a producir resultados sistemáticamente desfavorables para ciertos grupos (por género, edad, origen, discapacidad u otra característica) debido a patrones presentes en los datos con los que se entrenó. No es intencional, pero sus consecuencias son reales y, en muchos casos, ilegales. En IA generativa aparece en respuestas, recomendaciones y resúmenes.
Explicación ampliada
Por qué importa para tu empresa
Si tu empresa usa IA en decisiones que afectan a personas (selección de personal, concesión de crédito, atención al cliente, evaluación), el sesgo algorítmico puede traducirse en discriminación legalmente sancionable. La AI Act europea clasifica varios de esos casos como sistemas de alto riesgo con obligaciones reforzadas. Aunque uses servicios estándar (no entrenes modelos), eres responsable del uso que haces de ellos.
Ejemplo concreto
Una pyme de selección utiliza una IA generativa para puntuar y ordenar candidatos por adecuación a una oferta. Internamente, el modelo penaliza levemente nombres que no son de origen español por correlación con factores históricos en sus datos de entrenamiento. Si la pyme no audita el comportamiento con conjuntos de prueba diversos, no detecta el problema. El día que un candidato no seleccionado lo recurra, la empresa tendrá que demostrar diligencia debida, y "no sabíamos cómo funcionaba el modelo por dentro" no es defensa válida.