Enseigner des préférences (DPO)
Pourquoi c'est important Les modèles de discussion ne sont pas seulement entraînés sur du texte ; ils sont réglés sur des préférences : de deux réponses, laquelle les gens ont préférée. DPO (Rafailov et al. 2023) le fait directement à partir de paires, avec une seule perte et sans modèle de récompense séparé. C'est aussi facile d'en faire trop.
La préférence ici est un style que le modèle de base n'utilise jamais : relier les mots avec des tirets bas (« snake_case talk »). Chaque paire a un prompt de 20 caractères tiré du texte des leçons, les 10 vrais caractères suivants (rejetés) et les mêmes 10 avec chaque espace écrit comme un tiret bas (choisis).
La perte DPO pour une paire compare de combien le modèle réglé rend la réponse choisie plus probable que ne le faisait le modèle de référence, contre la même chose pour la réponse rejetée :
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta fixe à quel point le modèle réglé est maintenu près de la référence. Deux mesures ensuite : la part des espaces entre mots écrits comme tirets bas sur 60 nouveaux prompts (le style), et la perte sur de l'anglais mis de côté en ne comptant que les lettres, pas les espaces (les dégâts).
Mots et symboles de cette leçon
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- rang (r)
- à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
- DPO
- optimisation directe des préférences : régler à partir de paires d'une meilleure et d'une moins bonne réponse
- modèle de référence
- le modèle figé par rapport auquel DPO mesure chaque changement
- beta (DPO)
- à quel point le modèle réglé est maintenu près de la référence
Choisis steps (au plus 60) pour que le style soit appris (part de tirets bas d'au moins 0.8) pendant que la perte sur les seules lettres reste sous 2.6 (le modèle de base obtient environ 1.94). Essaie quelques valeurs.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.