Conteúdo do curso Lição 153 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Treine um GPT minúsculo, ao vivo

Por que isso importa Tudo se junta: embeddings, posições, multi-head attention com máscara, residuais e layer norms, treinados com Adam na previsão do próximo caractere. Na sua própria CPU, em segundos.

Largura 32, 2 blocos, 4 heads, 32 caracteres de contexto: cerca de 29,000 parâmetros. 150 passos de 16 trechos cada, alguns segundos em um notebook. Chame a Curva: a perda no início e depois de 150 passos. (Um chute uniforme entre 95 caracteres dá ln 95 = 4.55.)

Depois gere amostras com ele. Depois de 150 passos ele faz uma sopa de letras com espaços mais ou menos nos lugares certos; o modelo gravado de largura 64, treinado por 2,000 passos, escreve texto com forma de palavras. Mesmo código, mais computação.

Palavras e símbolos nesta lição
atenção
softmax das pontuações query-key, usada para fazer a média dos values
head
uma de H atenções mais estreitas rodando lado a lado, cada uma com seu próprio padrão
layer norm
normalizar cada vetor sozinho: média 0, dispersão 1, depois vezes g mais b
Sua vez

Preencha my_guess, depois treine com model.train (150 passos, taxa de aprendizado 0.003, batch 16) em corpus.TEXT e guarde o histórico em hist. A chamada é hist = model.train(text, steps=..., lr=..., batch=...); ela retorna um dicionário cujo hist['loss'] é a perda de treino registrada a cada 20 passos (e no último passo), e model.generate(prompt, n, temperature) escreve texto depois. (help(model.train) também imprime isso.) A média das últimas 5 perdas registradas precisa ficar abaixo de 2.85.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.