Transformadores

Arquitectura de red neuronal construida sobre el mecanismo de autoatención, que procesa la secuencia completa en paralelo en lugar de recorrerla elemento por elemento. Es la base de los LLM y de los modelos multimodales actuales, y su naturaleza es probabilística: predice la continuación más plausible, no la verdad comprobada.

En el curso

Módulo 1 — los sitúa como el tercer gran enfoque generativo junto a GAN y modelos de difusión, aportando "coherencia y control" frente a la velocidad de las GAN y la diversidad de la difusión. Nacen en 2017 con "Attention Is All You Need", desplazan a RNN y LSTM, y GPT-3 marca su consagración. En los enfoques híbridos, DALL·E 3 o Midjourney usan un transformador para interpretar el prompt —el para qué— y un modelo de difusión para resolver el cómo.

Módulo 4 — examina los límites de esa misma arquitectura como fuente de riesgo: la ventana de contexto de longitud fija funciona como una memoria a corto plazo que hace olvidar objetivos previos, y la generación probabilística explica por qué el modelo no puede verificar su propio trabajo. El vídeo del Dr. Williams sobre aprendizaje en contexto plantea la RAG como paliativo de la primera limitación.

Relacionado

Autoatención · LLM · GPT · Redes neuronales recurrentes (RNN) · Memoria a largo y corto plazo (LSTM) · Alucinación · Ventana de contexto