Conteúdo do curso Lição 215 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Ensinando preferências (DPO)

Por que isso importa Modelos de chat não são treinados apenas em texto; eles são ajustados em preferências: de duas respostas, qual as pessoas preferiram. DPO (Rafailov et al. 2023) faz isso diretamente de pares, com uma loss e sem um reward model separado. Também é fácil exagerar.

A preferência aqui é um estilo que o modelo base nunca usa: juntar palavras com underscores ("snake_case talk"). Cada par tem um prompt de 20 caracteres do texto da lição, os próximos 10 caracteres reais (rejeitados) e os mesmos 10 com cada espaço escrito como um underscore (escolhido).

A perda DPO para um par compara o quanto mais provável o modelo ajustado torna a resposta escolhida em relação ao modelo de referência, contra o mesmo para a rejeitada:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta define o quão próximo o modelo ajustado é mantido da referência. Duas medidas depois: a parte de lacunas de palavras escritas como underscores em 60 novos prompts (o estilo), e a perda no conjunto de teste em inglês contando apenas letras, não lacunas (o dano).

Palavras e símbolos nesta lição
LoRA
adaptação de baixo posto: uma matriz de pesos congelada mais duas finas treináveis, x W + (alpha / r) x A B
rank (r)
quão finas são as duas matrizes do LoRA: (d_in + d_out) x r pesos treináveis por matriz
DPO
otimização de preferência direta: ajuste a partir de pares de uma resposta melhor e uma pior
modelo de referência
o modelo congelado DPO mede cada mudança em relação a
beta (DPO)
o quão próximo o modelo ajustado é mantido perto da referência
Sua vez

Escolha steps (no máximo 60) para que o estilo seja aprendido (underscore share pelo menos 0.8) enquanto a letters-only loss fica abaixo de 2.6 (o base model scores cerca de 1.94). Tente alguns valores.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.