Portão: um transformador quebrado (IA desligada)
Por que isso importa Este é um forward pass de GPT inteiro escrito com o motor da casa, e ele tem dois erros. Ambos são clássicos, e cada um sozinho já enganou equipes reais.
IA desligada. Uma falha deixa o modelo ver caracteres que ele deveria prever. A outra torna a pilha muito mais difícil de treinar. Encontre e corrija ambas.
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
- head
- ona de H atenções mais estreitas rodam lado a lado, cada uma com seu próprio padrão
Corrija logits. Mudar um caractere não pode mudar nenhuma previsão para posições anteriores, e depois de 200 passos a perda média dos últimos 20 passos precisa ficar abaixo de 2.65.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.