Seu motor, em termos de PyTorch
Por que isso importa Você vai encontrar o PyTorch (ou outro framework) no dia seguinte a este curso. Tudo o que você construiu se mapeia nele; apenas algumas convenções diferem, e elas causam a maioria dos bugs quando as pessoas portam o código.
O PyTorch não pode rodar neste navegador, então esta lição converte os arrays do curso nos layouts do PyTorch com NumPy, e verifica a conversão exatamente.
| Thing | Este curso | PyTorch |
|---|---|---|
| Peso linear | W é (n_in, n_out), saída x @ W + b | weight é (out, in), saída x @ weight.T + bias |
| Pesos iniciais | normal com spread sqrt(2 / n_in) (He) para cada camada, bias 0 | nn.Linear padrão: uniforme dentro de cerca de ±1 / sqrt(n_in), bias uniforme também |
| Imagens | canais por último, (N, H, W, C) | canais primeiro, (N, C, H, W) |
| Conv weight | (k × k × C_in, C_out), linhas ordenadas por (row, column, channel) | (C_out, C_in, k, k) |
| BatchNorm running variance | a variância do lote dividida por n | o imparcial, dividindo por n - 1 (normalizar ainda usa n) |
| Limpando gradientes | a casa Adam.step() os limpa sozinha | você chama optimizer.zero_grad() em cada passo |
Quais tensores mantêm .grad | cada nó do grafo | apenas tensores de folha como weights, a menos que você chame retain_grad() |
| GELU | z * sigmoid(1.702 z), uma aproximação | a forma exata com erf por padrão; approximate='tanh' para a rápida |
| LSTM | Matriz de pesoone em [x, h], esqueça o bias que começou em 1 ou 3 | separe os pesos de entrada e ocultos com dois biases, todos começando pequenos e aleatórios |
| Bloco GPT pequeno | ReLU, sem vieses em suas camadas lineares: 12d² + 4d pesos | GPT-2: GELU e vieses: 12d² + 13d |
Nenhum destes está errado; eles são escolhas. Os que quebram um port silenciosamente são os layouts: um Linear weight transposto ou uma imagem channels-last dão números errados sem erro quando os tamanhos por acaso coincidem.
Palavras e símbolos nesta lição
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Escreva linear_to_torch(W, b) retornando o (weight, bias) do PyTorch, o nhwc_to_nchw(X), o conv_to_torch(w, c_in) retornando o peso (C_out, C_in, k, k), e o unbiased(var, n) transformando uma variância que divide por n em uma que divide por n - 1. O teste oculto executa uma convolução channels-first escrita do jeito PyTorch com seus pesos e a compara com o conv do curso.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.