Construir pares de preferencias para DPO
El ajuste fino supervisado necesita una respuesta de referencia por prompt. El ajuste por preferencias (DPO) necesita algo distinto y a menudo más fácil de reunir: para el mismo prompt, una respuesta elegida y una rechazada, y aprende a preferir la primera. Rara vez tienes esos pares directamente, pero muy a menudo tienes clasificaciones: una persona (o un modelo juez) que ordena varias respuestas candidatas de mejor a peor. Esta lección convierte las clasificaciones en los datos por pares con los que DPO entrena de verdad.
La regla es sencilla: si los candidatos están ordenados del mejor al peor, entonces en cada par donde uno queda por encima de otro, el de arriba es chosen y el de abajo es rejected. Una lista clasificada de n candidatos da n*(n-1)/2 pares de preferencias, todas las combinaciones de anterior frente a posterior:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsConstruye to_preference_pairs(prompt, ranked), que devuelva una lista de dicts {"prompt", "chosen", "rejected"}, uno por cada par de índices i < j de ranked (así ranked[i] se elige frente a ranked[j]), en ese orden. Menos de dos candidatos da una lista vacía (no hay preferencia que expresar). El mismo prompt va en cada par para que el entrenador conozca el contexto. Pulsa Ejecutar para expandir una clasificación en pares de entrenamiento.
Escribe to_preference_pairs(prompt, ranked), donde ranked es una lista de respuestas candidatas ordenadas de mejor a peor. Devuelve una lista de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} para cada i < j (la elegida queda por encima de la rechazada), en orden creciente de (i, j). Una lista con menos de dos candidatos devuelve [].
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.