Suas próprias execuções pequenas, com custo
Por que isso importaEscalonamento é uma afirmação sobre custo: quanto melhor por unidade de computação. Então cada execução precisa de uma etiqueta de preço, e a etiqueta de preço do treinamento é surpreendentemente simples.
Custos de treinamento são cerca de 6 operações por peso por token: 2 para o forward pass (uma multiplicação, uma soma para cada peso) e cerca de 4 para o backward pass (gradientes para as entradas e para os pesos). Essa é a regra FLOP Ledger que você usou desde a linha de partida: scaling.flops(weights, tokens).
Aqui você treina três modelos pequenos ao vivo, cada um com 32,000 tokens do texto do curso, com cerca de 7 vezes de diferença no custo.
Palavras e símbolos nesta lição
- token
- aqui, uma previsão: um caractere
- FLOPs (6 N D)
- custo de treinamento: cerca de 6 operações por peso por token
Treine larguras 4, 16 e 64 para 32,000 tokens cada (scaling.train(model, 32_000) retorna a perda retida). Preencha runs com, para cada largura, os pesos, os FLOPs e a perda. Depois defina cost_ratio: quantas vezes a mais a execução da largura-64 custou que a execução da largura-4.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.