Ajustando uma lei de potência com um piso
Por que isso importa "Maior é melhor" é inútil para planejamento. "A perda cai conforme os pesos à potência -0.5, em direção a um piso de 1.6" permite que você coloque um número em uma execução que você não pagou. Obter esse número, e o quão seguro você está dele, é a habilidade.
O formato que se ajusta melhor aos dados de escala:
loss = E + A N^(-alpha)
N é o número de pesos, alpha o exponent (quão rápido ele melhora) e E o floor: a perda que nenhum modelo desta família pode bater nestes dados. Parte disso é o texto ser imprevisível; parte é o próprio limite da família (este modelo só vê 8 caracteres para trás). Uma família diferente, digamos uma que lê mais para trás, tem um floor menor. Sem o floor, um ajuste em modelos pequenos superestima o quanto os grandes ganham.
Como ajustar: para cada valor de piso E entre 0 e logo abaixo da menor perda, tire os logs, log(loss - E) = log A - alpha log N, que é uma linha reta, e ajuste por mínimos quadrados. Mantenha o E cuja curva tem o menor erro quadrático sobre as próprias perdas.
Barras de erro: existem 3 sementes por tamanho. Refaça o ajuste várias vezes, cada vez escolhendo uma semente aleatória para cada tamanho (um bootstrap), e observe a dispersão de alpha. Observe a cena: os mesmos pontos, a curva ajustada com e sem um piso, e a banda de ajustes de bootstrap.
Palavras e símbolos nesta lição
- lei da potência
- y = A x^-alpha: uma linha reta em eixos log-log
- exponent (alpha, beta)
- quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
- floor (E)
- a perda que nenhum modelo pode bater nestes dados
- token
- Aqui, uma previsão: um caractere
- bootstrap
- refitting em dados reamostrados para ver o quanto um número ajustado se moveria
Escreva fit(N, loss) retornando (E, A, alpha) como descrito (400 candidatos de pisos de 0 a 0.999 x a menor perda). Ajuste as execuções de 1,5 milhão de tokens (uma média por largura) em main, depois execute 100 refit de bootstrap e defina interval para o 5º e 95º percentil de alpha.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.