Programme Leçon 210 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

LoRA, construit

Pourquoi c'est important Le construire une fois rend trois choses évidentes : pourquoi il démarre sans faire de mal, pourquoi ses gradients sont bon marché, et pourquoi les poids d'origine ne changent jamais.

Une couche LoRA sur le moteur du cours : la passe avant vaut x W + (alpha / r) x A B, avec W figée. Le moteur calcule tout seul les gradients de A et B (ton moteur du module 4 le ferait aussi) ; W ne doit simplement pas être mise à jour, ce que tu vérifies.

Mots et symboles de cette leçon
LoRA
adaptation de rang faible : une matrice de poids figée plus deux fines matrices entraînables, x W + (alpha / r) x A B
À ton tour

Écris lora_forward(x, W, A, B, alpha) avec des opérations du moteur. Puis vérifie, sur la petite couche du code de départ : la sortie égale x W tant que B vaut zéro ; après une passe arrière, W n'a aucune mise à jour mais A ou B en a une ; et le gradient de A correspond aux poussées. Affecte à max_gap la plus grande différence. Le moteur travaille en float32, donc pousse de h = 1e-3 ou plus : avec 1e-4, le changement de la perte se perd dans l'arrondi et un gradient correct a l'air faux.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.