Treine um GPT minúsculo, ao vivo
Por que isso importa Tudo se junta: embeddings, posições, multi-head attention com máscara, residuais e layer norms, treinados com Adam na previsão do próximo caractere. Na sua própria CPU, em segundos.
Largura 32, 2 blocos, 4 heads, 32 caracteres de contexto: cerca de 29,000 parâmetros. 150 passos de 16 trechos cada, alguns segundos em um notebook. Chame a Curva: a perda no início e depois de 150 passos. (Um chute uniforme entre 95 caracteres dá ln 95 = 4.55.)
Depois gere amostras com ele. Depois de 150 passos ele faz uma sopa de letras com espaços mais ou menos nos lugares certos; o modelo gravado de largura 64, treinado por 2,000 passos, escreve texto com forma de palavras. Mesmo código, mais computação.
Palavras e símbolos nesta lição
- atenção
- softmax das pontuações query-key, usada para fazer a média dos values
- head
- uma de H atenções mais estreitas rodando lado a lado, cada uma com seu próprio padrão
- layer norm
- normalizar cada vetor sozinho: média 0, dispersão 1, depois vezes g mais b
Preencha my_guess, depois treine com model.train (150 passos, taxa de aprendizado 0.003, batch 16) em corpus.TEXT e guarde o histórico em hist. A chamada é hist = model.train(text, steps=..., lr=..., batch=...); ela retorna um dicionário cujo hist['loss'] é a perda de treino registrada a cada 20 passos (e no último passo), e model.generate(prompt, n, temperature) escreve texto depois. (help(model.train) também imprime isso.) A média das últimas 5 perdas registradas precisa ficar abaixo de 2.85.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.