MyCity (Nueva York)

Chatbot municipal de asesoría a pequeñas empresas que llegó a dar consejos no solo falsos sino ilegales.

Qué implementó

Un chatbot de asesoría para pequeñas empresas, desplegado por la ciudad de Nueva York con un aviso visible sobre posibles inexactitudes.

Qué falló

El sistema afirmó, entre otras cosas, que los empleadores podían quedarse con las propinas de sus trabajadores, rechazar pagos en efectivo o servir alimentos contaminados con roedores. La existencia del aviso de inexactitudes no bastó: los expertos calificaron el despliegue de imprudente, dado que el usuario típico buscaba precisamente orientación normativa.

Resultados

La ciudad reconoció los errores, defendió la continuidad del piloto y anunció correcciones junto al equipo de Azure de Microsoft (Allen, 2024; Offenhartz, 2024).

En el curso

Módulo 4 — capítulo 6, tabla de casos reales de alucinación por industria, junto a Air Canada.

Relacionado

Air Canada · Alucinación · Human-in-the-loop · Gobernanza · Maple Heights