Conteúdo do curso Lição 206 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Saltos reais ou um truque da métrica?

Por que isso importa Manchetes dizem que modelos grandes ganham habilidades de repente em algum tamanho: "emergência". Às vezes o salto é real. Frequentemente a habilidade melhorou gradualmente o tempo todo e a metric fez parecer repentino (Schaeffer, Miranda e Koyejo, 2023). Saber qual é qual decide se você pode prever isso.

A grade registrou duas pontuações no mesmo texto de teste:

  • Acurácia por caractere p: a parte das posições onde o melhor palpite do modelo para o próximo caractere está correto. Isso sobe suavemente com o tamanho, de 0.27 a 0.53 em 1.5 milhão de tokens.
  • Todos os 5 corretos: a proporção de posições onde ele escreve os próximos 5 caracteres sem erro. Tudo ou nada.

Se cada caractere estivesse correto com probabilidade p independentemente, cinco em linha estariam corretos p^5 das vezes. Verifique isso contra a grade primeiro. Depois veja o que o expoente faz com uma habilidade que melhora uniformemente. Esses modelos pequenos nunca vão longe o suficiente para mostrar o efeito total, então a segunda parte é uma ilustração claramente rotulada, não uma medição: uma acurácia por caractere subindo em dez passos iguais de 0.5 para 0.95.

Palavras e símbolos nesta lição
exponent (alpha, beta)
quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
token
aqui, uma previsão: um caractere
emergence
uma habilidade que parece aparecer de repente em algum tamanho; às vezes feita por uma métrica de tudo ou nada
Sua vez

Preencha pairs: para cada largura em 1,5 milhão de tokens, (p, p^5, medido em todos-5-direitas). Depois para a ilustração defina all10 como p^10 para p_even, e late_share como a parte do aumento total de todos10 que acontece nos últimos 3 dos 10 passos. Finalmente defina case.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.