O que os chefes olham
Por que isso importa Pesos de atenção podem ser lidos. Olhar o que as heads treinadas fazem é o começo da interpretabilidade: entender um modelo por dentro, não apenas por suas saídas.
O modelo width-64 gravado tem 2 camadas de 4 heads. Para cada head, meça quanta atenção, em média, uma posição dá ao caractere logo antes dela. Se uma head espalhasse sua atenção uniformemente sobre tudo o que ela pode ver, esse número seria cerca de 0.10 em um trecho de 32 caracteres.
Predict: quais cabeças da camada se especializam em "olhar para o caractere anterior"?
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usado para tirar a média dos valores
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Defina my_guess como 0 ou 1. Escreva prev_share(A) para uma matriz de atenção t por t: a média de A[i, i - 1] para i de 1 a t - 1. Preencha share: (layer, head) com a média de prev_share sobre os 40 trechos reservados, usando attention_maps.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.