Inyección de prompt

Vulnerabilidad en la que un atacante inserta instrucciones ocultas o maliciosas dentro de la entrada que recibe un sistema de IA, logrando que eluda sus protecciones, revele información sensible o actúe de forma no deseada. Su rasgo distintivo: explota la lógica de decisión del modelo usando lenguaje natural, no código.

En el curso

Módulo 4 — es el tercero de los tres vectores "de la era actual", junto al Deepfake y el Ataque de suplantación (Kosinski, 2024).

Riesgo empresarial: una inyección lograda puede hacer que un asistente de IA envíe documentos confidenciales a terceros o produzca análisis falsos, comprometiendo reputación, privacidad e integridad de las decisiones.

Contramedidas que anticipa el módulo: higiene de prompts, Sandboxing de los flujos de trabajo de los agentes y supervisión humana en varios niveles. La función Detectar del NIST CSF añade el ángulo de vigilancia: una herramienta de IA puede comportarse de forma anómala precisamente por manipulación de prompts, así que hay que monitorear accesos extraños de los agentes y preguntarse qué alerta se dispararía si uno accediera a archivos sensibles que nunca ha usado.

El módulo también señala que la inyección de prompt renueva la vigencia de la Cadena de ataque cibernético: el prompt manipulado es simplemente una carga útil nueva en la fase de Armamentización, y el texto público que alimenta al agente es material de reconocimiento.

Módulo 7 — reaparece del lado de las pruebas, no del ataque. La inyección de prompts extremos es una de las técnicas de las Pruebas adversarias, junto al fuzzing y la simulación de usuarios malintencionados: se ataca al propio agente de forma deliberada y controlada para descubrir vulnerabilidades antes de que lleguen los usuarios. La evidencia de esas pruebas es además uno de los contenidos exigidos en la documentación de validación ante un auditor.

Relacionado

Sandboxing · Cadena de ataque cibernético · Armamentización · Exfiltración · Acceso con privilegios mínimos · Human-in-the-loop · NIST CSF · Ingeniería de prompts

Añadido en el módulo 7: Pruebas adversarias · Verificaciones de seguridad · Canal de pruebas