Portão: planeje uma rodada de treinamento (IA desligada)
Por que isso importa Estas são as leis de escala de decisão que existem: você tem um orçamento e uma chance. Planeje com base em evidências.
Gate: IA desligada. Você tem 3 x 10^10 FLOPs para uma execução do modelo de caracteres do curso, no mesmo texto que a grade. Escolha uma largura (uma potência de 2) e o número de tokens que o Orçamento permite então. Use a grade registrada do jeito que quiser: ajustes, tabelas, ambos.
A verificação prevê a perda da sua escolha e da melhor escolha possível com o ajuste de duas variáveis do curso, e passa quando a sua está dentro de 0.02 da melhor e você gastou o Orçamento (dentro de 1%).
Palavras e símbolos nesta lição
- lei da escala
- como a perda cai conforme pesos, dados ou computação crescem, geralmente uma lei de potência em direção a um piso
- token
- Aqui, uma previsão: um caractere
- FLOPs (6 N D)
- custo de treinamento: cerca de 6 operações por peso por token
Defina width e tokens.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.