Pruebas A/B

Método experimental que expone dos variantes de un mismo elemento a públicos comparables y decide cuál funciona mejor según una métrica acordada de antemano. Sustituye la opinión por evidencia, y con IA generativa el cuello de botella deja de ser producir las variantes y pasa a ser diseñar bien la medición.

En el curso

Módulo 1 — se ilustra desde publicidad y marketing: generar variantes de anuncios para pruebas A/B rápidas en Facebook e Instagram, con imágenes personalizadas por grupo demográfico, reduciendo la dependencia de sesiones fotográficas costosas. El glosario del módulo la sitúa además en UX y en personalización con IA.

Módulo 7 — pasa de técnica de marketing a estrategia de prueba de agentes, la segunda del Canal de pruebas. El glosario del módulo la redefine como "forma de comparar dos versiones de un agente de IA (control frente a variante) con los usuarios para medir las diferencias de desempeño".

Cómo aplicarla a agentes:

• Asignación aleatoria de usuarios a control o variación, con división equitativa del tráfico (50/50). La aleatorización evita sesgos y garantiza grupos estadísticamente comparables.
• Métricas de éxito definidas de antemano: tasa de éxito en la tarea, tiempo de finalización, CSAT.
• Datos hasta alcanzar significancia estadística; intervalos de confianza y pruebas de hipótesis.
• Una sola variable por prueba — solo el modelo, o solo el prompt.
• Control de versiones del prompt: cada cambio de prompt o de modelo se prueba contra la versión anterior.
• Monitorizar métricas primarias y secundarias (tiempo de respuesta, tasa de error), y segmentar por tipo de usuario: un agente puede rendir bien en promedio y fallar en casos extremos.

Relacionado

Prueba de Turing · KPI · Sobreajuste · Transformación digital · Ingeniería de prompts

Añadido en el módulo 7: Canal de pruebas · Sandboxing · Verificaciones de seguridad · Caso extremo · LLM como juez