Saltos reais ou um truque da métrica?
Por que isso importa Manchetes dizem que modelos grandes ganham habilidades de repente em algum tamanho: "emergência". Às vezes o salto é real. Frequentemente a habilidade melhorou gradualmente o tempo todo e a metric fez parecer repentino (Schaeffer, Miranda e Koyejo, 2023). Saber qual é qual decide se você pode prever isso.
A grade registrou duas pontuações no mesmo texto de teste:
- Acurácia por caractere p: a parte das posições onde o melhor palpite do modelo para o próximo caractere está correto. Isso sobe suavemente com o tamanho, de 0.27 a 0.53 em 1.5 milhão de tokens.
- Todos os 5 corretos: a proporção de posições onde ele escreve os próximos 5 caracteres sem erro. Tudo ou nada.
Se cada caractere estivesse correto com probabilidade p independentemente, cinco em linha estariam corretos p^5 das vezes. Verifique isso contra a grade primeiro. Depois veja o que o expoente faz com uma habilidade que melhora uniformemente. Esses modelos pequenos nunca vão longe o suficiente para mostrar o efeito total, então a segunda parte é uma ilustração claramente rotulada, não uma medição: uma acurácia por caractere subindo em dez passos iguais de 0.5 para 0.95.
Palavras e símbolos nesta lição
- exponent (alpha, beta)
- quão rápido a perda cai com mais pesos (alpha) ou mais dados (beta)
- token
- aqui, uma previsão: um caractere
- emergence
- uma habilidade que parece aparecer de repente em algum tamanho; às vezes feita por uma métrica de tudo ou nada
Preencha pairs: para cada largura em 1,5 milhão de tokens, (p, p^5, medido em todos-5-direitas). Depois para a ilustração defina all10 como p^10 para p_even, e late_share como a parte do aumento total de todos10 que acontece nos últimos 3 dos 10 passos. Finalmente defina case.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.