Conteúdo do curso Lição 204 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

O melhor uso de um Orçamento fixo

Por que isso importa Com um Orçamento de computação C fixo, um modelo maior vê menos tokens (C = 6 N D). Grande demais e ele fica sem recursos; pequeno demais e ele fica cheio antes do Orçamento acabar. Em 2022 este cálculo (o artigo "Chinchilla") mostrou que a maioria dos grandes modelos da época era grande demais para os dados em que foram treinados.

Ajuste ambos os efeitos de uma vez:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d se ajusta a todas as 150 execuções. Depois, para um Orçamento C, cada largura N fixa D = C / (6 N), e a fórmula prevê a perda: escolha a largura com a menor previsão. scaling.params_of(width) dá os pesos de uma largura.

Onde o campo está agora Hoffmann et al. (2022, "Chinchilla") ajustaram essa mesma forma de duas variáveis para grandes modelos de linguagem e encontraram a divisão de computo-ótimo em cerca de 20 tokens de treinamento por peso. Laboratórios agora frequentemente treinam muito além disso (muito mais tokens para um modelo menor), porque um modelo menor é mais barato toda vez que ele responde: o computo-ótimo para treinamento não é o ótimo para uso. E quando eles tornam um modelo mais largo, eles reescalonam seus pesos iniciais e taxas de aprendizado por camada (muP, Yang et al. 2022) para que a melhor taxa de aprendizado encontrada em um modelo pequeno ainda funcione no grande: o problema que a lição "modelos mais largos querem passos menores" do Módulo 13 mediu.

Palavras e símbolos nesta lição
exponent (alpha, beta)
quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
token
Aqui, uma previsão: um caractere
FLOPs (6 N D)
custo de treinamento: cerca de 6 operações por peso por token
compute-optimal
a divisão de um orçamento fixo entre o tamanho do modelo e os dados que dá a menor perda
Sua vez

Ajuste a grade em f. Escreva plan(f, budget) retornando a largura (uma potência de 2 de 2 a 4096) com a menor perda prevista. Preencha choice para orçamentos de 1e9, 1e10 e 1e11 FLOPs.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.