Conteúdo do curso Lição 202 de 250 · Ajuste Fino, Conceitualmente
Ajuste Fino, Conceitualmente

Construindo Pares de Preferência DPO

O ajuste fino supervisionado precisa de uma resposta selada por prompt. Ajuste de preferência (DPO) precisa de algo diferente e muitas vezes mais fácil de coletar: para o mesmo prompt, uma resposta chosen e uma rejected, e ele aprende a preferir a primeira. Você raramente tem esses pares diretamente, mas você muito frequentemente tem rankings, um humano (ou um modelo juiz) ordenando várias respostas candidatas da melhor para a pior. Esta lição transforma rankings em dados de pares que o DPO realmente treina.

A regra é simples: se os candidatos forem listados do melhor para o pior, então para cada par onde um está acima do outro, o superior é chosen e o inferior é rejected. Uma lista ranqueada de n candidatos gera n*(n-1)/2 pares de preferência, cada combinação anterior-vs-posterior:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Construa to_preference_pairs(prompt, ranked) retornando uma lista de {"prompt", "chosen", "rejected"} dicts, um para cada par de índices i < j em ranked (então ranked[i] é escolhido sobre ranked[j]), nessa ordem. Menos de dois candidatos gera uma lista vazia (sem preferência para expressar). O mesmo prompt percorre cada par para que o trainer conheça o contexto. Pressione Run para expandir um ranking em pares de treinamento.

Sua vez

Escreva to_preference_pairs(prompt, ranked) onde ranked é uma lista de respostas candidatas ordenadas da melhor para a pior. Retorne uma lista de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} para cada i < j (ranks escolhidos acima dos rejeitados), em ordem crescente (i, j). Uma lista com menos de dois candidatos retorna [].

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.