Caching

Guardar temporalmente los datos o respuestas que se solicitan con frecuencia para servirlos sin volver a calcularlos ni recuperarlos del origen. En sistemas de IA reduce a la vez la latencia y la factura, porque cada respuesta reutilizada es una llamada al modelo que no se paga.

En el curso

Módulo 1 — se plantea como una de las preguntas de decisión al elegir modelo, dentro del bloque de costes: si conviene usar caché o modelos más económicos para ciertas tareas. Cobra sentido junto al cálculo del módulo, donde un prompt de 500 tókenes con respuesta de 1.000 cuesta unos 0,075 USD, pero repetido 10.000 veces al día suma unos 22.500 USD al mes.

Relacionado

Interfaz de programación de aplicaciones (API) · Unidades de procesamiento gráfico (GPU) · Centros de datos · Ventana de contexto · Tókenes