Inferencia

La fase en que un modelo ya entrenado se usa para producir una respuesta, frente a la fase de entrenamiento en que aprende. Cada consulta a un modelo desplegado es una inferencia, y es donde se acumula el coste operativo del día a día.

En el curso

Módulo 1 — aunque el módulo no la nombra siempre así, es la distinción que sostiene todo el capítulo de costes: entrenar o ajustar un modelo es una inversión puntual y cara, pero se paga cada vez que se usa un modelo alojado por un tercero. De ahí que la frecuencia de uso "lo cambie todo" al elegir modelo, y que el Caching y los modelos ligeros sean palancas de ahorro reales.

Relacionado

Tókenes · Preentrenamiento · Ajuste fino · Caching · Unidades de procesamiento gráfico (GPU) · LLM