IA Agéntica

Conceptos

Verificaciones de seguridad

Módulos Módulo 7Etiquetas tipo/concepto curso/mit/m7 tema/gobernanza tema/pruebas tema/seguridad

Conjunto de medidas de protección —filtros, límites de seguridad y revisión humana— que garantizan que los agentes actúen de manera responsable (glosario del módulo 7). Comprueban que el agente cumple normas y políticas, más allá de su desempeño funcional: salidas dañinas, sesgos y violaciones de privacidad, antes y después del despliegue.

Las cinco medidas

Medida En qué consiste
Filtros de contenido automatizados Bloquean salidas no permitidas. Gemini de Google combina filtros no configurables (CSAM, datos privados) con configurables (discurso de odio, acoso). Primera línea de defensa
Controles de seguridad y capas de confianza Restricciones o módulos de monitoreo que interceptan o corrigen acciones inseguras. La capa de confianza Einstein de Salesforce verifica continuamente privacidad, seguridad y exactitud
Presencia humana en el bucle Revisor humano para decisiones críticas, juicios éticos complejos o situaciones imprevistas
Pruebas adversarias Entradas maliciosas o fuera de distribución: fuzzing, inyección de prompts extremos, simulación de usuarios enojados o malintencionados
LLM como juez Un segundo modelo evalúa o califica las respuestas del agente según criterios definidos, para escalar la revisión

Puntos clave del módulo

  1. Validar salidas contra reglas de seguridad, con bloqueo automático.
  2. Sondeo adversario continuo antes de que los fallos alcancen a los usuarios.
  3. Defensas en capas: filtros de políticas, API seguras, monitoreo, capas de confianza.
  4. Alertas en tiempo real ante métricas anómalas, fallos repetidos o accesos no autorizados.
  5. Proceso continuo, no hito único: reevaluar a medida que cambian modelo, datos y entorno.

En el curso

Módulo 7 — capítulo 2, tercera estrategia de prueba, e integrada en el Canal de pruebas. En el capítulo 3 el mismo concepto aparece bajo el nombre de controles de seguridad, como los límites cuya colocación determina el equilibrio entre velocidad y supervisión.

Relacionado

Canal de pruebas · Sandboxing · Pruebas A-B · Pruebas adversarias · LLM como juez · Human-in-the-loop · Inyección de prompt · Cuadrantes de riesgo y velocidad · Gobernanza

Enlaces entrantes