Conteúdo do curso Lição 155 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

O que os chefes olham

Por que isso importa Pesos de atenção podem ser lidos. Olhar o que as heads treinadas fazem é o começo da interpretabilidade: entender um modelo por dentro, não apenas por suas saídas.

O modelo width-64 gravado tem 2 camadas de 4 heads. Para cada head, meça quanta atenção, em média, uma posição dá ao caractere logo antes dela. Se uma head espalhasse sua atenção uniformemente sobre tudo o que ela pode ver, esse número seria cerca de 0.10 em um trecho de 32 caracteres.

Predict: quais cabeças da camada se especializam em "olhar para o caractere anterior"?

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usado para tirar a média dos valores
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Sua vez

Defina my_guess como 0 ou 1. Escreva prev_share(A) para uma matriz de atenção t por t: a média de A[i, i - 1] para i de 1 a t - 1. Preencha share: (layer, head) com a média de prev_share sobre os 40 trechos reservados, usando attention_maps.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.