Sesgo algorítmico

Tendencia sistemática de un sistema de IA a producir resultados que perjudican a determinados grupos, heredada de los datos con que se entrenó o de cómo se diseñó la tarea. No es un fallo aleatorio: es un patrón reproducible y, por eso, auditable.

En el curso

Módulo 4 — se trata dentro de los límites de la percepción de la IA, y el módulo lo apoya en casos con consecuencias legales reales, no en hipótesis:

La lección que extrae el curso es que el sesgo no se corrige solo con más datos: exige auditoría deliberada, revisión humana sobre decisiones sensibles y diseño consciente de qué se está optimizando.

Módulo 8 — reaparece como el primero de los tres riesgos empresariales de los fallos éticos, con el caso Amazon (2018): el modelo penalizaba los currículos que contenían la palabra "mujeres" porque se había entrenado con el histórico de una industria dominada por hombres (Dastin, 2018). El módulo formaliza además el instrumento para detectarlo —la Auditoría de sesgo— y el principio que lo prohíbe, equidad y no discriminación, con el argumento añadido de que la equidad también mejora el desempeño organizacional (Satell y Abdel-Magied, 2020).

Relacionado

Alucinación · Human-in-the-loop · Gobernanza · Puntuación de confianza · Desinformación sintética · Auditoría de sesgo · Tarjeta del modelo · Ética de la IA · Amazon — herramienta de reclutamiento