Temario Lección 202 de 250 · El ajuste fino, en concepto
El ajuste fino, en concepto

Construir pares de preferencias para DPO

El ajuste fino supervisado necesita una respuesta de referencia por prompt. El ajuste por preferencias (DPO) necesita algo distinto y a menudo más fácil de reunir: para el mismo prompt, una respuesta elegida y una rechazada, y aprende a preferir la primera. Rara vez tienes esos pares directamente, pero muy a menudo tienes clasificaciones: una persona (o un modelo juez) que ordena varias respuestas candidatas de mejor a peor. Esta lección convierte las clasificaciones en los datos por pares con los que DPO entrena de verdad.

La regla es sencilla: si los candidatos están ordenados del mejor al peor, entonces en cada par donde uno queda por encima de otro, el de arriba es chosen y el de abajo es rejected. Una lista clasificada de n candidatos da n*(n-1)/2 pares de preferencias, todas las combinaciones de anterior frente a posterior:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Construye to_preference_pairs(prompt, ranked), que devuelva una lista de dicts {"prompt", "chosen", "rejected"}, uno por cada par de índices i < j de ranked (así ranked[i] se elige frente a ranked[j]), en ese orden. Menos de dos candidatos da una lista vacía (no hay preferencia que expresar). El mismo prompt va en cada par para que el entrenador conozca el contexto. Pulsa Ejecutar para expandir una clasificación en pares de entrenamiento.

Tu turno

Escribe to_preference_pairs(prompt, ranked), donde ranked es una lista de respuestas candidatas ordenadas de mejor a peor. Devuelve una lista de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} para cada i < j (la elegida queda por encima de la rechazada), en orden creciente de (i, j). Una lista con menos de dos candidatos devuelve [].

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.