Preveja uma execução maior, depois veja ela
Por que isso importa Um ajuste que apenas descreve as execuções que você tem é um resumo. Um ajuste que prevê uma execução que você não teve é uma lei, pelo menos por enquanto. Aqui está o teste.
O curso treinou um tamanho a mais depois que a grade foi concluída: largura 2048, cerca de 375.000 pesos, o dobro do maior na grade, nos 1,5 milhão de tokens completos, 3 seeds. Você não viu a perda dele.
Use a lei de potência da lição 3 (uma largura por vez, 1.5 milhão de tokens) para prever. Comite o número no código, depois abra o resultado registrado.
Palavras e símbolos nesta lição
- lei da potência
- y = A x^-alpha: uma linha reta em eixos log-log
- token
- aqui, uma previsão: um caractere
Ajuste a grade de 1,5 milhão de tokens com scaling.fit_power_law, defina prediction para largura 2048 (pesos scaling.params_of(2048)), depois defina actual (a média de scaling.recorded_bigger()) e error. Compare com seu erro de intuição na lição 1 definindo better_than_my_gut.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.