Redes neuronales recurrentes (RNN)

Arquitectura pensada para datos secuenciales, que procesa un elemento a la vez y arrastra al paso siguiente un estado interno a modo de memoria. Sostuvo los primeros sistemas de voz y de lenguaje, hasta que su memoria corta y su procesamiento estrictamente secuencial la dejaron fuera de juego frente a los transformadores.

En el curso

Módulo 1 — las sitúa, junto a las LSTM, como la tecnología dominante antes de 2017, con memoria "superficial y poco confiable". La analogía del curso es un juego en círculo donde cada participante añade una frase a una historia compartida: entretenido, pero la narración se desvía porque nadie tiene visión global. Aceptable para un cuento infantil, inaceptable para resumir un documento legal.

Relacionado

Memoria a largo y corto plazo (LSTM) · Redes neuronales · Transformadores · Autoatención · Procesamiento de lenguaje natural · Aprendizaje profundo