O melhor uso de um Orçamento fixo
Por que isso importa Com um Orçamento de computação C fixo, um modelo maior vê menos tokens (C = 6 N D). Grande demais e ele fica sem recursos; pequeno demais e ele fica cheio antes do Orçamento acabar. Em 2022 este cálculo (o artigo "Chinchilla") mostrou que a maioria dos grandes modelos da época era grande demais para os dados em que foram treinados.
Ajuste ambos os efeitos de uma vez:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d se ajusta a todas as 150 execuções. Depois, para um Orçamento C, cada largura N fixa D = C / (6 N), e a fórmula prevê a perda: escolha a largura com a menor previsão. scaling.params_of(width) dá os pesos de uma largura.
Onde o campo está agora Hoffmann et al. (2022, "Chinchilla") ajustaram essa mesma forma de duas variáveis para grandes modelos de linguagem e encontraram a divisão de computo-ótimo em cerca de 20 tokens de treinamento por peso. Laboratórios agora frequentemente treinam muito além disso (muito mais tokens para um modelo menor), porque um modelo menor é mais barato toda vez que ele responde: o computo-ótimo para treinamento não é o ótimo para uso. E quando eles tornam um modelo mais largo, eles reescalonam seus pesos iniciais e taxas de aprendizado por camada (muP, Yang et al. 2022) para que a melhor taxa de aprendizado encontrada em um modelo pequeno ainda funcione no grande: o problema que a lição "modelos mais largos querem passos menores" do Módulo 13 mediu.
Palavras e símbolos nesta lição
- exponent (alpha, beta)
- quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
- token
- Aqui, uma previsão: um caractere
- FLOPs (6 N D)
- custo de treinamento: cerca de 6 operações por peso por token
- compute-optimal
- a divisão de um orçamento fixo entre o tamanho do modelo e os dados que dá a menor perda
Ajuste a grade em f. Escreva plan(f, budget) retornando a largura (uma potência de 2 de 2 a 4096) com a menor perda prevista. Preencha choice para orçamentos de 1e9, 1e10 e 1e11 FLOPs.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.