Enseñar preferencias (DPO)
Por qué importa Los modelos de chat no solo se entrenan con texto; se ajustan con preferencias: de dos respuestas, cuál le gustó más a la gente. DPO (Rafailov et al. 2023) lo hace directamente a partir de parejas, con una sola pérdida y sin un modelo de recompensa aparte. También es fácil pasarse.
La preferencia aquí es un estilo que el modelo base nunca usa: unir las palabras con guiones bajos ("snake_case talk"). Cada pareja tiene una instrucción de 20 caracteres del texto de las lecciones, los 10 caracteres siguientes reales (rechazada) y esos mismos 10 con cada espacio escrito como guion bajo (elegida).
La pérdida de DPO para una pareja compara cuánto más probable hace el modelo ajustado la respuesta elegida de lo que la hacía el modelo de referencia, frente a lo mismo para la rechazada:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta fija con qué fuerza se mantiene el modelo ajustado cerca del de referencia. Dos medidas después: la proporción de huecos entre palabras escritos como guion bajo con 60 instrucciones nuevas (el estilo), y la pérdida con inglés reservado contando solo las letras, no los huecos (el daño).
Palabras y símbolos de esta lección
- LoRA
- adaptación de rango bajo: una matriz de pesos congelada más dos finas entrenables, x W + (alpha / r) x A B
- rango (r)
- lo finas que son las dos matrices de LoRA: (d_in + d_out) x r pesos entrenables por matriz
- DPO
- optimización directa de preferencias: ajustar a partir de parejas de una respuesta mejor y una peor
- modelo de referencia
- el modelo congelado con el que DPO compara cada cambio
- beta (DPO)
- con qué fuerza se mantiene el modelo ajustado cerca del de referencia
Elige steps (como mucho 60) para que se aprenda el estilo (proporción de guiones bajos de al menos 0.8) mientras la pérdida solo con letras se queda por debajo de 2.6 (el modelo base puntúa unos 1.94). Prueba unos cuantos valores.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.