Construindo Pares de Preferência DPO
O ajuste fino supervisionado precisa de uma resposta selada por prompt. Ajuste de preferência (DPO) precisa de algo diferente e muitas vezes mais fácil de coletar: para o mesmo prompt, uma resposta chosen e uma rejected, e ele aprende a preferir a primeira. Você raramente tem esses pares diretamente, mas você muito frequentemente tem rankings, um humano (ou um modelo juiz) ordenando várias respostas candidatas da melhor para a pior. Esta lição transforma rankings em dados de pares que o DPO realmente treina.
A regra é simples: se os candidatos forem listados do melhor para o pior, então para cada par onde um está acima do outro, o superior é chosen e o inferior é rejected. Uma lista ranqueada de n candidatos gera n*(n-1)/2 pares de preferência, cada combinação anterior-vs-posterior:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsConstrua to_preference_pairs(prompt, ranked) retornando uma lista de {"prompt", "chosen", "rejected"} dicts, um para cada par de índices i < j em ranked (então ranked[i] é escolhido sobre ranked[j]), nessa ordem. Menos de dois candidatos gera uma lista vazia (sem preferência para expressar). O mesmo prompt percorre cada par para que o trainer conheça o contexto. Pressione Run para expandir um ranking em pares de treinamento.
Escreva to_preference_pairs(prompt, ranked) onde ranked é uma lista de respostas candidatas ordenadas da melhor para a pior. Retorne uma lista de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} para cada i < j (ranks escolhidos acima dos rejeitados), em ordem crescente (i, j). Uma lista com menos de dois candidatos retorna [].
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.