Memoria a largo y corto plazo (LSTM)

Variante de red neuronal recurrente que incorpora compuertas para decidir qué información conservar y cuál descartar en cada paso. Con ello logra retener dependencias más largas que una RNN simple, y fue la arquitectura de referencia en procesamiento de lenguaje natural hasta la llegada de los transformadores.

En el curso

Módulo 1 — la agrupa con las RNN como la generación previa: procesamiento secuencial, palabra por palabra, sin visión global de la secuencia. El módulo la marca como dominante en PLN antes de 2017 y explica que el cambio de era llegó cuando la autoatención permitió ponderar toda la entrada a la vez y, con ello, entrenar en paralelo.

Relacionado

Redes neuronales recurrentes (RNN) · Redes neuronales · Transformadores · Autoatención · Procesamiento de lenguaje natural · Aprendizaje profundo