Preentrenamiento

Primera fase de la construcción de un modelo de lenguaje, en la que este absorbe volúmenes enormes de datos de propósito general para aprender los patrones estadísticos del lenguaje. Produce un generalista competente pero sin especialidad: la adaptación a un dominio concreto llega después.

En el curso

Módulo 1 — es la primera de las tres etapas de entrenamiento de un LLM (preentrenamiento, ajuste fino y aprendizaje por refuerzo con evaluadores humanos). El material describe un modelo que recorre libros, artículos y repositorios de código ajustando sus pesos hasta formar una amplia "intuición del lenguaje". La sigla GPT lo lleva incorporado: modelos transformadores generativos preentrenados.

Relacionado

Ajuste fino · Pesos · LLM · Aprendizaje por refuerzo · Subajuste