Conteúdo do curso Lição 158 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Portão: um transformador quebrado (IA desligada)

Por que isso importa Este é um forward pass de GPT inteiro escrito com o motor da casa, e ele tem dois erros. Ambos são clássicos, e cada um sozinho já enganou equipes reais.

IA desligada. Uma falha deixa o modelo ver caracteres que ele deveria prever. A outra torna a pilha muito mais difícil de treinar. Encontre e corrija ambas.

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
head
ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Sua vez

Corrija logits. Mudar um caractere não pode mudar nenhuma previsão para posições anteriores, e depois de 200 passos a perda média dos últimos 20 passos precisa ficar abaixo de 2.65.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.