Tu motor, en términos de PyTorch
Por qué importa Te encontrarás con PyTorch (u otro framework) el día después de este curso. Todo lo que construiste se traslada a él; solo cambian unas pocas convenciones, y son las que causan la mayoría de los errores cuando la gente porta código.
PyTorch no puede ejecutarse en este navegador, así que esta lección convierte los arrays del curso a las disposiciones de PyTorch con NumPy, y comprueba la conversión de forma exacta.
| Cosa | Este curso | PyTorch |
|---|---|---|
| Peso de una capa lineal | W es (n_in, n_out), salida x @ W + b | weight es (out, in), salida x @ weight.T + bias |
| Pesos iniciales | normal con dispersión sqrt(2 / n_in) (He) para cada capa, sesgo 0 | por defecto en nn.Linear: uniforme dentro de unos ±1 / sqrt(n_in), el sesgo también uniforme |
| Imágenes | canales al final, (N, H, W, C) | canales primero, (N, C, H, W) |
| Peso de convolución | (k × k × C_in, C_out), filas ordenadas por (fila, columna, canal) | (C_out, C_in, k, k) |
| Varianza acumulada de BatchNorm | la varianza del lote dividiendo por n | la insesgada, dividiendo por n - 1 (al normalizar sigue usando n) |
| Borrar gradientes | el Adam.step() de la casa los borra él mismo | llamas a optimizer.zero_grad() en cada paso |
Qué tensores guardan .grad | cada nodo del grafo | solo los tensores hoja como los pesos, salvo que llames a retain_grad() |
| GELU | z * sigmoid(1.702 z), una aproximación | la forma exacta con erf por defecto; approximate='tanh' para la rápida |
| LSTM | una matriz de pesos sobre [x, h], sesgo de olvido iniciado en 1 o 3 | pesos de entrada y ocultos separados con dos sesgos, todos iniciados pequeños y aleatorios |
| Bloque del GPT diminuto | ReLU, sin sesgos en sus capas lineales: 12d² + 4d pesos | GPT-2: GELU y sesgos: 12d² + 13d |
Ninguna de estas está mal; son decisiones. Las que rompen un porte en silencio son las disposiciones: un peso lineal traspuesto o una imagen con canales al final dan números incorrectos sin ningún error cuando da la casualidad de que los tamaños coinciden.
Palabras y símbolos de esta lección
- cabeza
- una de H atenciones más estrechas ejecutadas una al lado de otra, cada una con su propio patrón
Escribe linear_to_torch(W, b) que devuelva el (weight, bias) de PyTorch, nhwc_to_nchw(X), conv_to_torch(w, c_in) que devuelva el peso (C_out, C_in, k, k), y unbiased(var, n) que convierta una varianza que dividía por n en una que divide por n - 1. La prueba oculta ejecuta una convolución con canales primero escrita al estilo de PyTorch con tus pesos y la compara con el conv del curso.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.