Conteúdo do curso Lição 154 de 246 · Módulo 13: Atenção e transformers
Módulo 13: Atenção e transformers

Modelos maiores querem passos menores

Por que isso importa A learning rate que funciona para um modelo pequeno pode arruinar um maior. Equipes que treinam modelos grandes gastam dinheiro real descobrindo isso; você pode ler isso em runs gravadas.

O experimento registrado gpt-width-lr treinou o pequeno GPT com larguras 32, 64 e 128, cada uma com learning rates 0.001, 0.003 e 0.01, por 2,000 steps, com três seeds cada, e mediu a loss no texto held-out no final.

Preveja antes de olhar: qual learning rate é melhor para o modelo mais largo, 128?

Palavras e símbolos nesta lição
query, chave, valor
o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
Sua vez

Defina my_guess como 0.001, 0.003 ou 0.01, depois preencha mean_loss: (width, lr) com a média da perda final segurada sobre as três sementes (exp.seeds(d=..., lr=...) dá as três execuções; a perda final segurada de cada execução é run.val_loss[-1][1]). Depois preencha best_lr: width com a taxa de aprendizado com a menor média.

Então use a regra de ruído do Módulo 9 para dizer quais configurações realmente diferem. Com três sementes cada, duas médias diferem de verdade apenas se a lacuna for maior que cerca de 2 × s × sqrt(2/3), onde s é o maior dos dois spreads de semente das configurações (np.std dos três valores). Qualquer coisa mais próxima é um empate.

Defina ties: width para a lista de learning rates que empatam com o melhor daquela width (o melhor incluído).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.