Ton moteur, en termes de PyTorch
Pourquoi c'est important Tu rencontreras PyTorch (ou un autre framework) le lendemain de ce cours. Tout ce que tu as construit s'y retrouve ; seules quelques conventions diffèrent, et elles causent l'essentiel des bogues quand les gens portent du code.
PyTorch ne peut pas tourner dans ce navigateur, donc cette leçon convertit les tableaux du cours dans les dispositions de PyTorch avec NumPy, et vérifie exactement la conversion.
| Chose | Ce cours | PyTorch |
|---|---|---|
| Poids d'une couche linéaire | W est (n_in, n_out), sortie x @ W + b | weight est (out, in), sortie x @ weight.T + bias |
| Poids de départ | loi normale de dispersion sqrt(2 / n_in) (He) pour chaque couche, biais 0 | par défaut de nn.Linear : uniforme dans environ ±1 / sqrt(n_in), biais uniforme aussi |
| Images | canaux en dernier, (N, H, W, C) | canaux en premier, (N, C, H, W) |
| Poids de convolution | (k × k × C_in, C_out), lignes ordonnées par (ligne, colonne, canal) | (C_out, C_in, k, k) |
| Variance courante de BatchNorm | la variance du lot en divisant par n | celle sans biais, en divisant par n - 1 (la normalisation utilise toujours n) |
| Effacer les gradients | le Adam.step() du cours les efface lui-même | tu appelles optimizer.zero_grad() à chaque pas |
Quels tenseurs gardent .grad | chaque nœud du graphe | seulement les tenseurs feuilles comme les poids, sauf si tu appelles retain_grad() |
| GELU | z * sigmoid(1.702 z), une approximation | la forme exacte avec erf par défaut ; approximate='tanh' pour la rapide |
| LSTM | une matrice de poids sur [x, h], biais d'oubli démarré à 1 ou 3 | des poids d'entrée et cachés séparés avec deux biais, tous démarrés petits et aléatoires |
| Bloc du minuscule GPT | ReLU, pas de biais dans ses couches linéaires : 12d² + 4d poids | GPT-2 : GELU et biais : 12d² + 13d |
Aucun de ces choix n'est faux ; ce sont des choix. Ceux qui cassent un portage en silence sont les dispositions : un poids linéaire transposé ou une image avec les canaux en dernier donne des nombres faux sans erreur quand les tailles se trouvent correspondre.
Mots et symboles de cette leçon
- tête
- une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
Écris linear_to_torch(W, b) qui renvoie le (weight, bias) de PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) qui renvoie le poids (C_out, C_in, k, k), et unbiased(var, n) qui transforme une variance qui divisait par n en une qui divise par n - 1. Le test caché exécute une convolution avec canaux en premier écrite à la façon de PyTorch avec tes poids et la compare au conv du cours.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.