Une grande matrice figée plus deux fines (Vois-le)
Pourquoi c'est important LoRA (Hu et al. 2021) est la façon dont la plupart des modèles sont personnalisés aujourd'hui, parce qu'il n'entraîne qu'une infime fraction des poids et laisse l'original intact. L'idée tient dans une seule image.
Prends une matrice de poids W, d_in par d_out. Fige-la. À côté, mets deux fines matrices entraînables : A (d_in par r) et B (r par d_out), avec un petit rang r. La couche calcule
x W + (alpha / r) x A B
A B est une matrice complète d_in par d_out, un changement de W, mais elle n'est construite qu'à partir de (d_in + d_out) × r nombres. B commence à zéro, donc au début le modèle est exactement l'original.
Le GPT a quatre matrices de poids dans chacun de ses 2 blocs : qkv (64 par 192), o (64 par 64), w1 (64 par 256) et w2 (256 par 64). Regarde la scène, puis compte.
Mots et symboles de cette leçon
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
- rang (r)
- à quel point les deux matrices de LoRA sont fines : (d_in + d_out) × r poids entraînables par matrice
Écris lora_weights(shapes, r) : le nombre de poids entraînables qu'ajoute LoRA pour une liste de formes (d_in, d_out) au rang r. Remplis shapes avec les 8 matrices cibles du GPT, puis affecte counts pour les rangs 1, 4, 16 et 64, et overtakes : le plus petit de ces rangs auquel LoRA entraîne plus de poids que tout le modèle (107 072).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.