Temario Lección 157 de 246 · Módulo 13: Atención y transformers
Módulo 13: Atención y transformers

Tu motor, en términos de PyTorch

Por qué importa Te encontrarás con PyTorch (u otro framework) el día después de este curso. Todo lo que construiste se traslada a él; solo cambian unas pocas convenciones, y son las que causan la mayoría de los errores cuando la gente porta código.

PyTorch no puede ejecutarse en este navegador, así que esta lección convierte los arrays del curso a las disposiciones de PyTorch con NumPy, y comprueba la conversión de forma exacta.

CosaEste cursoPyTorch
Peso de una capa linealW es (n_in, n_out), salida x @ W + bweight es (out, in), salida x @ weight.T + bias
Pesos inicialesnormal con dispersión sqrt(2 / n_in) (He) para cada capa, sesgo 0por defecto en nn.Linear: uniforme dentro de unos ±1 / sqrt(n_in), el sesgo también uniforme
Imágenescanales al final, (N, H, W, C)canales primero, (N, C, H, W)
Peso de convolución(k × k × C_in, C_out), filas ordenadas por (fila, columna, canal)(C_out, C_in, k, k)
Varianza acumulada de BatchNormla varianza del lote dividiendo por nla insesgada, dividiendo por n - 1 (al normalizar sigue usando n)
Borrar gradientesel Adam.step() de la casa los borra él mismollamas a optimizer.zero_grad() en cada paso
Qué tensores guardan .gradcada nodo del grafosolo los tensores hoja como los pesos, salvo que llames a retain_grad()
GELUz * sigmoid(1.702 z), una aproximaciónla forma exacta con erf por defecto; approximate='tanh' para la rápida
LSTMuna matriz de pesos sobre [x, h], sesgo de olvido iniciado en 1 o 3pesos de entrada y ocultos separados con dos sesgos, todos iniciados pequeños y aleatorios
Bloque del GPT diminutoReLU, sin sesgos en sus capas lineales: 12d² + 4d pesosGPT-2: GELU y sesgos: 12d² + 13d

Ninguna de estas está mal; son decisiones. Las que rompen un porte en silencio son las disposiciones: un peso lineal traspuesto o una imagen con canales al final dan números incorrectos sin ningún error cuando da la casualidad de que los tamaños coinciden.

Palabras y símbolos de esta lección
cabeza
una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Tu turno

Escribe linear_to_torch(W, b) que devuelva el (weight, bias) de PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) que devuelva el peso (C_out, C_in, k, k), y unbiased(var, n) que convierta una varianza que dividía por n en una que divide por n - 1. La prueba oculta ejecuta una convolución con canales primero escrita al estilo de PyTorch con tus pesos y la compara con el conv del curso.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.