Conteúdo do curso Lição 226 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

Compreender: memorize primeiro, entenda depois

Por que isso importa Power et al. (2022) viram uma rede chegar à precisão de treino perfeita, ficar no nível do acaso nos dados de teste por muito tempo e de repente generalizar. É o caso mais claro em que olhar por dentro explicou algo que a curva de perda não conseguia.

A tarefa: a + b módulo 23 (o resto depois de dividir por 23; então 20 + 5 dá 2). Há 23 × 23 = 529 somas; o modelo treina em uma metade aleatória e é testado na outra metade. Cada número recebe um embedding de 32; os dois embeddings passam por uma camada ReLU de 128 e saem para 23 pontuações. Ele treina na metade inteira a cada passo, com AdamW (Módulo 5).

Treine ao vivo por 1,500 passos e depois leia as execuções gravadas do curso com 40,000 passos (cerca de 11 segundos cada em um notebook, longas demais para uma lição), com weight decay 3 e sem nenhum.

Preveja primeiro: depois de 1,500 passos, a precisão de treino vai ser 100%. Qual vai ser a precisão de teste?

Palavras e símbolos nesta lição
grokking
a precisão de teste subindo muito depois de a precisão de treino estar perfeita
Sua vez

Defina my_guess como "near 0", "near 50%" ou "near 100%". Treine por 1,500 steps e preencha live com (train accuracy, test accuracy). De runs = interp.recorded()['grok'], o 'curve' de cada execução tem linhas (step, train accuracy, test accuracy, top-3 share): defina half_way para o primeiro step onde test accuracy atinge 0.5 com weight decay 3, e final_test para a última test accuracy de cada execução.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.