Compreender: memorize primeiro, entenda depois
Por que isso importa Power et al. (2022) viram uma rede chegar à precisão de treino perfeita, ficar no nível do acaso nos dados de teste por muito tempo e de repente generalizar. É o caso mais claro em que olhar por dentro explicou algo que a curva de perda não conseguia.
A tarefa: a + b módulo 23 (o resto depois de dividir por 23; então 20 + 5 dá 2). Há 23 × 23 = 529 somas; o modelo treina em uma metade aleatória e é testado na outra metade. Cada número recebe um embedding de 32; os dois embeddings passam por uma camada ReLU de 128 e saem para 23 pontuações. Ele treina na metade inteira a cada passo, com AdamW (Módulo 5).
Treine ao vivo por 1,500 passos e depois leia as execuções gravadas do curso com 40,000 passos (cerca de 11 segundos cada em um notebook, longas demais para uma lição), com weight decay 3 e sem nenhum.
Preveja primeiro: depois de 1,500 passos, a precisão de treino vai ser 100%. Qual vai ser a precisão de teste?
Palavras e símbolos nesta lição
- grokking
- a precisão de teste subindo muito depois de a precisão de treino estar perfeita
Defina my_guess como "near 0", "near 50%" ou "near 100%". Treine por 1,500 steps e preencha live com (train accuracy, test accuracy). De runs = interp.recorded()['grok'], o 'curve' de cada execução tem linhas (step, train accuracy, test accuracy, top-3 share): defina half_way para o primeiro step onde test accuracy atinge 0.5 com weight decay 3, e final_test para a última test accuracy de cada execução.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.