Conteúdo do curso Lição 157 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Seu motor, em termos de PyTorch

Por que isso importa Você vai encontrar o PyTorch (ou outro framework) no dia seguinte a este curso. Tudo o que você construiu se mapeia nele; apenas algumas convenções diferem, e elas causam a maioria dos bugs quando as pessoas portam o código.

O PyTorch não pode rodar neste navegador, então esta lição converte os arrays do curso nos layouts do PyTorch com NumPy, e verifica a conversão exatamente.

Matriz de peso
ThingEste cursoPyTorch
Peso linearW é (n_in, n_out), saída x @ W + bweight é (out, in), saída x @ weight.T + bias
Pesos iniciaisnormal com spread sqrt(2 / n_in) (He) para cada camada, bias 0nn.Linear padrão: uniforme dentro de cerca de ±1 / sqrt(n_in), bias uniforme também
Imagenscanais por último, (N, H, W, C)canais primeiro, (N, C, H, W)
Conv weight(k × k × C_in, C_out), linhas ordenadas por (row, column, channel)(C_out, C_in, k, k)
BatchNorm running variancea variância do lote dividida por no imparcial, dividindo por n - 1 (normalizar ainda usa n)
Limpando gradientesa casa Adam.step() os limpa sozinhavocê chama optimizer.zero_grad() em cada passo
Quais tensores mantêm .gradcada nó do grafoapenas tensores de folha como weights, a menos que você chame retain_grad()
GELUz * sigmoid(1.702 z), uma aproximaçãoa forma exata com erf por padrão; approximate='tanh' para a rápida
LSTMone em [x, h], esqueça o bias que começou em 1 ou 3separe os pesos de entrada e ocultos com dois biases, todos começando pequenos e aleatórios
Bloco GPT pequenoReLU, sem vieses em suas camadas lineares: 12d² + 4d pesosGPT-2: GELU e vieses: 12d² + 13d

Nenhum destes está errado; eles são escolhas. Os que quebram um port silenciosamente são os layouts: um Linear weight transposto ou uma imagem channels-last dão números errados sem erro quando os tamanhos por acaso coincidem.

Palavras e símbolos nesta lição
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Sua vez

Escreva linear_to_torch(W, b) retornando o (weight, bias) do PyTorch, o nhwc_to_nchw(X), o conv_to_torch(w, c_in) retornando o peso (C_out, C_in, k, k), e o unbiased(var, n) transformando uma variância que divide por n em uma que divide por n - 1. O teste oculto executa uma convolução channels-first escrita do jeito PyTorch com seus pesos e a compara com o conv do curso.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.