Conteúdo do curso Lição 207 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Portão: planeje uma rodada de treinamento (IA desligada)

Por que isso importa Estas são as leis de escala de decisão que existem: você tem um orçamento e uma chance. Planeje com base em evidências.

Regras

Gate: IA desligada. Você tem 3 x 10^10 FLOPs para uma execução do modelo de caracteres do curso, no mesmo texto que a grade. Escolha uma largura (uma potência de 2) e o número de tokens que o Orçamento permite então. Use a grade registrada do jeito que quiser: ajustes, tabelas, ambos.

A verificação prevê a perda da sua escolha e da melhor escolha possível com o ajuste de duas variáveis do curso, e passa quando a sua está dentro de 0.02 da melhor e você gastou o Orçamento (dentro de 1%).

Palavras e símbolos nesta lição
lei da escala
como a perda cai conforme pesos, dados ou computação crescem, geralmente uma lei de potência em direção a um piso
token
Aqui, uma previsão: um caractere
FLOPs (6 N D)
custo de treinamento: cerca de 6 operações por peso por token
Sua vez

Defina width e tokens.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.