Programme Leçon 215 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Enseigner des préférences (DPO)

Pourquoi c'est important Les modèles de discussion ne sont pas seulement entraînés sur du texte ; ils sont réglés sur des préférences : de deux réponses, laquelle les gens ont préférée. DPO (Rafailov et al. 2023) le fait directement à partir de paires, avec une seule perte et sans modèle de récompense séparé. C'est aussi facile d'en faire trop.

La préférence ici est un style que le modèle de base n'utilise jamais : relier les mots avec des tirets bas (« snake_case talk »). Chaque paire a un prompt de 20 caractères tiré du texte des leçons, les 10 vrais caractères suivants (rejetés) et les mêmes 10 avec chaque espace écrit comme un tiret bas (choisis).

La perte DPO pour une paire compare de combien le modèle réglé rend la réponse choisie plus probable que ne le faisait le modèle de référence, contre la même chose pour la réponse rejetée :

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta fixe à quel point le modèle réglé est maintenu près de la référence. Deux mesures ensuite : la part des espaces entre mots écrits comme tirets bas sur 60 nouveaux prompts (le style), et la perte sur de l'anglais mis de côté en ne comptant que les lettres, pas les espaces (les dégâts).

Mots et symboles de cette leçon
LoRA
adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
rang (r)
à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
DPO
optimisation directe des préférences : régler à partir de paires d'une meilleure et d'une moins bonne réponse
modèle de référence
le modèle figé par rapport auquel DPO mesure chaque changement
beta (DPO)
à quel point le modèle réglé est maintenu près de la référence
À ton tour

Choisis steps (au plus 60) pour que le style soit appris (part de tirets bas d'au moins 0.8) pendant que la perte sur les seules lettres reste sous 2.6 (le modèle de base obtient environ 1.94). Essaie quelques valeurs.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.