LoRA, construit
Pourquoi c'est important Le construire une fois rend trois choses évidentes : pourquoi il démarre sans faire de mal, pourquoi ses gradients sont bon marché, et pourquoi les poids d'origine ne changent jamais.
Une couche LoRA sur le moteur du cours : la passe avant vaut x W + (alpha / r) x A B, avec W figée. Le moteur calcule tout seul les gradients de A et B (ton moteur du module 4 le ferait aussi) ; W ne doit simplement pas être mise à jour, ce que tu vérifies.
Mots et symboles de cette leçon
- LoRA
- adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
Écris lora_forward(x, W, A, B, alpha) avec des opérations du moteur. Puis vérifie, sur la petite couche du code de départ : la sortie égale x W tant que B vaut zéro ; après une passe arrière, W n'a aucune mise à jour mais A ou B en a une ; et le gradient de A correspond aux poussées. Affecte à max_gap la plus grande différence. Le moteur travaille en float32, donc pousse de h = 1e-3 ou plus : avec 1e-4, le changement de la perte se perd dans l'arrondi et un gradient correct a l'air faux.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.