Aprendizaje por refuerzo

Paradigma en el que un modelo aprende a comportarse probando acciones sobre un entorno y ajustándose según las recompensas o penalizaciones que recibe. No se le enseña la respuesta correcta: se le dice si lo hizo bien, y él descubre la política que maximiza el resultado.

En el curso

Módulo 1 — es la tercera etapa del entrenamiento de un LLM, después del preentrenamiento y el ajuste fino: evaluadores humanos califican las salidas por relevancia, precisión y estilo, y esas puntuaciones se retroalimentan al ciclo. El hito histórico que cita es AlphaGo de DeepMind derrotando a Lee Sedol en 2016.

Módulo 3 — lo aplica al ajuste de agentes empáticos vía RLHF: los evaluadores aprueban o desaprueban respuestas para reforzar las genuinamente útiles y desterrar el lenguaje robótico. Un videocast del Prof. John Williams contrasta además las ventajas del DPO frente al aprendizaje por refuerzo clásico.

Relacionado

Aprendizaje automático · Ajuste fino · Preentrenamiento · LLM · Aprendizaje profundo · Intervención humana