Ventana de contexto

Cantidad máxima de información —medida en tókenes— que un modelo puede tener presente a la vez al generar una respuesta. Todo lo que queda fuera, simplemente no existe para el modelo: la ventana funciona como su memoria de trabajo, y es de longitud fija.

En el curso

Módulo 1 — aparece como la tercera de las compensaciones al elegir modelo, "longitud de contexto frente a eficiencia": GPT-4.5 admite 128.000 tókenes y algunos modelos más recientes llegan a 200.000, con la observación contraintuitiva de que más contexto no siempre implica más coste, porque hay modelos que lo gestionan con mayor eficiencia.

Módulo 4 — se trata como una limitación estructural de los agentes: operan con instantáneas de corto plazo y la ventana acota cuánta información previa pueden referenciar, de modo que olvidan detalles y objetivos anteriores en tareas largas (Park et al., 2023). El vídeo del Dr. Williams sobre aprendizaje en contexto la describe como una memoria a corto plazo de longitud fija y presenta la generación aumentada por recuperación (RAG) como la vía para sortearla.

Relacionado

RAG · Ingeniería de prompts · Cadena de pensamiento · Caching · Protocolo de contexto del modelo (MCP)