Modelos maiores querem passos menores
Por que isso importa A learning rate que funciona para um modelo pequeno pode arruinar um maior. Equipes que treinam modelos grandes gastam dinheiro real descobrindo isso; você pode ler isso em runs gravadas.
O experimento registrado gpt-width-lr treinou o pequeno GPT com larguras 32, 64 e 128, cada uma com learning rates 0.001, 0.003 e 0.01, por 2,000 steps, com três seeds cada, e mediu a loss no texto held-out no final.
Preveja antes de olhar: qual learning rate é melhor para o modelo mais largo, 128?
Palavras e símbolos nesta lição
- query, chave, valor
- o que uma posição busca; o que cada posição oferece para combinar; o que ela entrega
Defina my_guess como 0.001, 0.003 ou 0.01, depois preencha mean_loss: (width, lr) com a média da perda final segurada sobre as três sementes (exp.seeds(d=..., lr=...) dá as três execuções; a perda final segurada de cada execução é run.val_loss[-1][1]). Depois preencha best_lr: width com a taxa de aprendizado com a menor média.
Então use a regra de ruído do Módulo 9 para dizer quais configurações realmente diferem. Com três sementes cada, duas médias diferem de verdade apenas se a lacuna for maior que cerca de 2 × s × sqrt(2/3), onde s é o maior dos dois spreads de semente das configurações (np.std dos três valores). Qualquer coisa mais próxima é um empate.
Defina ties: width para a lista de learning rates que empatam com o melhor daquela width (o melhor incluído).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.