Conteúdo do curso Lição 202 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Ajustando uma lei de potência com um piso

Por que isso importa "Maior é melhor" é inútil para planejamento. "A perda cai conforme os pesos à potência -0.5, em direção a um piso de 1.6" permite que você coloque um número em uma execução que você não pagou. Obter esse número, e o quão seguro você está dele, é a habilidade.

O formato que se ajusta melhor aos dados de escala:

loss = E + A N^(-alpha)

N é o número de pesos, alpha o exponent (quão rápido ele melhora) e E o floor: a perda que nenhum modelo desta família pode bater nestes dados. Parte disso é o texto ser imprevisível; parte é o próprio limite da família (este modelo só vê 8 caracteres para trás). Uma família diferente, digamos uma que lê mais para trás, tem um floor menor. Sem o floor, um ajuste em modelos pequenos superestima o quanto os grandes ganham.

Como ajustar: para cada valor de piso E entre 0 e logo abaixo da menor perda, tire os logs, log(loss - E) = log A - alpha log N, que é uma linha reta, e ajuste por mínimos quadrados. Mantenha o E cuja curva tem o menor erro quadrático sobre as próprias perdas.

Barras de erro: existem 3 sementes por tamanho. Refaça o ajuste várias vezes, cada vez escolhendo uma semente aleatória para cada tamanho (um bootstrap), e observe a dispersão de alpha. Observe a cena: os mesmos pontos, a curva ajustada com e sem um piso, e a banda de ajustes de bootstrap.

Palavras e símbolos nesta lição
lei da potência
y = A x^-alpha: uma linha reta em eixos log-log
exponent (alpha, beta)
quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
floor (E)
a perda que nenhum modelo pode bater nestes dados
token
Aqui, uma previsão: um caractere
bootstrap
refitting em dados reamostrados para ver o quanto um número ajustado se moveria
Sua vez

Escreva fit(N, loss) retornando (E, A, alpha) como descrito (400 candidatos de pisos de 0 a 0.999 x a menor perda). Ajuste as execuções de 1,5 milhão de tokens (uma média por largura) em main, depois execute 100 refit de bootstrap e defina interval para o 5º e 95º percentil de alpha.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.