Autoatención

Mecanismo central de la arquitectura transformadora: cada token de la entrada mide su relación con todos los demás a la vez y les asigna un peso según cuánto aportan a su significado. Al hacerlo en paralelo y no paso a paso, conserva el contexto en pasajes largos y permite entrenar sobre conjuntos de datos enormes.

En el curso

Módulo 1 — la presenta como el avance de 2017 publicado por Google Brain en "Attention Is All You Need". El módulo insiste en dos consecuencias: la "visión total" de la oración o la imagen, que mantiene tono, coherencia y estructura donde las RNN se desviaban, y el procesamiento paralelo, que es lo que hace económicamente posibles los LLM actuales.

Relacionado

Transformadores · LLM · GPT · Redes neuronales recurrentes (RNN) · Memoria a largo y corto plazo (LSTM) · Ventana de contexto