Conteúdo do curso Lição 205 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Preveja uma execução maior, depois veja ela

Por que isso importa Um ajuste que apenas descreve as execuções que você tem é um resumo. Um ajuste que prevê uma execução que você não teve é uma lei, pelo menos por enquanto. Aqui está o teste.

O curso treinou um tamanho a mais depois que a grade foi concluída: largura 2048, cerca de 375.000 pesos, o dobro do maior na grade, nos 1,5 milhão de tokens completos, 3 seeds. Você não viu a perda dele.

Use a lei de potência da lição 3 (uma largura por vez, 1.5 milhão de tokens) para prever. Comite o número no código, depois abra o resultado registrado.

Palavras e símbolos nesta lição
lei da potência
y = A x^-alpha: uma linha reta em eixos log-log
token
aqui, uma previsão: um caractere
Sua vez

Ajuste a grade de 1,5 milhão de tokens com scaling.fit_power_law, defina prediction para largura 2048 (pesos scaling.params_of(2048)), depois defina actual (a média de scaling.recorded_bigger()) e error. Compare com seu erro de intuição na lição 1 definindo better_than_my_gut.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.