Conteúdo do curso Lição 201 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Suas próprias execuções pequenas, com custo

Por que isso importaEscalonamento é uma afirmação sobre custo: quanto melhor por unidade de computação. Então cada execução precisa de uma etiqueta de preço, e a etiqueta de preço do treinamento é surpreendentemente simples.

Custos de treinamento são cerca de 6 operações por peso por token: 2 para o forward pass (uma multiplicação, uma soma para cada peso) e cerca de 4 para o backward pass (gradientes para as entradas e para os pesos). Essa é a regra FLOP Ledger que você usou desde a linha de partida: scaling.flops(weights, tokens).

Aqui você treina três modelos pequenos ao vivo, cada um com 32,000 tokens do texto do curso, com cerca de 7 vezes de diferença no custo.

Palavras e símbolos nesta lição
token
aqui, uma previsão: um caractere
FLOPs (6 N D)
custo de treinamento: cerca de 6 operações por peso por token
Sua vez

Treine larguras 4, 16 e 64 para 32,000 tokens cada (scaling.train(model, 32_000) retorna a perda retida). Preencha runs com, para cada largura, os pesos, os FLOPs e a perda. Depois defina cost_ratio: quantas vezes a mais a execução da largura-64 custou que a execução da largura-4.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.