Programme Leçon 157 sur 246 · Module 13 : Attention et transformers
Module 13 : Attention et transformers

Ton moteur, en termes de PyTorch

Pourquoi c'est important Tu rencontreras PyTorch (ou un autre framework) le lendemain de ce cours. Tout ce que tu as construit s'y retrouve ; seules quelques conventions diffèrent, et elles causent l'essentiel des bogues quand les gens portent du code.

PyTorch ne peut pas tourner dans ce navigateur, donc cette leçon convertit les tableaux du cours dans les dispositions de PyTorch avec NumPy, et vérifie exactement la conversion.

ChoseCe coursPyTorch
Poids d'une couche linéaireW est (n_in, n_out), sortie x @ W + bweight est (out, in), sortie x @ weight.T + bias
Poids de départloi normale de dispersion sqrt(2 / n_in) (He) pour chaque couche, biais 0par défaut de nn.Linear : uniforme dans environ ±1 / sqrt(n_in), biais uniforme aussi
Imagescanaux en dernier, (N, H, W, C)canaux en premier, (N, C, H, W)
Poids de convolution(k × k × C_in, C_out), lignes ordonnées par (ligne, colonne, canal)(C_out, C_in, k, k)
Variance courante de BatchNormla variance du lot en divisant par ncelle sans biais, en divisant par n - 1 (la normalisation utilise toujours n)
Effacer les gradientsle Adam.step() du cours les efface lui-mêmetu appelles optimizer.zero_grad() à chaque pas
Quels tenseurs gardent .gradchaque nœud du grapheseulement les tenseurs feuilles comme les poids, sauf si tu appelles retain_grad()
GELUz * sigmoid(1.702 z), une approximationla forme exacte avec erf par défaut ; approximate='tanh' pour la rapide
LSTMune matrice de poids sur [x, h], biais d'oubli démarré à 1 ou 3des poids d'entrée et cachés séparés avec deux biais, tous démarrés petits et aléatoires
Bloc du minuscule GPTReLU, pas de biais dans ses couches linéaires : 12d² + 4d poidsGPT-2 : GELU et biais : 12d² + 13d

Aucun de ces choix n'est faux ; ce sont des choix. Ceux qui cassent un portage en silence sont les dispositions : un poids linéaire transposé ou une image avec les canaux en dernier donne des nombres faux sans erreur quand les tailles se trouvent correspondre.

Mots et symboles de cette leçon
tête
une des H attentions plus étroites exécutées côte à côte, chacune avec son propre motif
À ton tour

Écris linear_to_torch(W, b) qui renvoie le (weight, bias) de PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) qui renvoie le poids (C_out, C_in, k, k), et unbiased(var, n) qui transforme une variance qui divisait par n en une qui divise par n - 1. Le test caché exécute une convolution avec canaux en premier écrite à la façon de PyTorch avec tes poids et la compare au conv du cours.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.