Ensinando preferências (DPO)
Por que isso importa Modelos de chat não são treinados apenas em texto; eles são ajustados em preferências: de duas respostas, qual as pessoas preferiram. DPO (Rafailov et al. 2023) faz isso diretamente de pares, com uma loss e sem um reward model separado. Também é fácil exagerar.
A preferência aqui é um estilo que o modelo base nunca usa: juntar palavras com underscores ("snake_case talk"). Cada par tem um prompt de 20 caracteres do texto da lição, os próximos 10 caracteres reais (rejeitados) e os mesmos 10 com cada espaço escrito como um underscore (escolhido).
A perda DPO para um par compara o quanto mais provável o modelo ajustado torna a resposta escolhida em relação ao modelo de referência, contra o mesmo para a rejeitada:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta define o quão próximo o modelo ajustado é mantido da referência. Duas medidas depois: a parte de lacunas de palavras escritas como underscores em 60 novos prompts (o estilo), e a perda no conjunto de teste em inglês contando apenas letras, não lacunas (o dano).
Palavras e símbolos nesta lição
- LoRA
- adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
- rank (r)
- quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
- DPO
- otimização de preferência direta: ajuste a partir de pares de uma resposta melhor e uma pior
- modelo de referência
- o modelo congelado DPO mede cada mudança em relação a
- beta (DPO)
- o quão próximo o modelo ajustado é mantido perto da referência
Escolha steps (no máximo 60) para que o estilo seja aprendido (underscore share pelo menos 0.8) enquanto a letters-only loss fica abaixo de 2.6 (o base model scores cerca de 1.94). Tente alguns valores.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.