Amazon — herramienta de reclutamiento

Descartó una herramienta de contratación con IA tras descubrir que penalizaba sistemáticamente los currículos que contenían la palabra "mujeres".

Qué implementó

Un sistema interno de IA para puntuar currículos y recomendar candidatos.

Qué falló

El modelo degradaba los currículos con la palabra "mujeres" — el ejemplo que da el curso es "capitana del club de ajedrez de mujeres". La causa no fue una regla de diseño discriminatoria sino los datos de entrenamiento: currículos históricos de una industria tecnológica dominada por hombres. El sistema aprendió a favorecer a los hombres porque eso era lo que reflejaba el histórico.

Resultados

Indicador	Dato
Año	2018
Desenlace	Amazon descartó la herramienta
Daño reputacional	Los medios lo presentaron como prueba de sesgos "incrustados" en la IA
Riesgo legal	Las prácticas discriminatorias pueden derivar en demandas o sanciones bajo las leyes de igualdad laboral

(Dastin, 2018 — Reuters)

Por qué importa

Es el caso canónico de Sesgo algorítmico heredado de los datos, no introducido por el diseño. De ahí que el módulo lo use para justificar la Auditoría de sesgo: un sesgo que nadie programó solo aparece si se busca activamente.

En el curso

Módulo 8 — capítulo 1, primero de los tres riesgos empresariales de los fallos éticos ("Algoritmos de contratación sesgados"), junto a los deepfakes y los errores de diagnóstico médico.

Es hermano de los casos de sesgo del módulo 4: iTutorGroup, SafeRent y UnitedHealth.

Relacionado

Sesgo algorítmico · Auditoría de sesgo · iTutorGroup · SafeRent · UnitedHealth · Tarjeta del modelo · Prueba de transparencia pública · Ética de la IA