Conteúdo do curso Lição 200 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Adivinhe um modelo maior

Por que isso importa Treinar um modelo grande custa meses e milhões. Antes de qualquer pessoa gastar isso, eles preveem quão bom ele será a partir de execuções pequenas. O fato surpreendente por trás do boom da IA é que a previsão geralmente funciona. Primeiro, veja quão boa é a sua própria intuição.

Os modelos neste módulo são modelos de caracteres pequenos: eles leem 8 caracteres e preveem o próximo. Um número define o tamanho deles, a width da camada oculta. O curso treinou 150 deles (10 larguras, 5 quantidades de dados, 3 sementes cada) em 1,5 milhão de caracteres do próprio texto da lição, e mediu a perda de cada um em 100.000 caracteres que eles nunca viram.

O modelo

A width-128 (24,401 weights) treinado em 1.5 milhão de tokens atinge uma loss de retenção de cerca de 1.86. Um token aqui é uma predição: um caractere.

Antes de você olhar: um modelo de largura-1024 tem 7.7 vezes mais pesos. Treinado nos mesmos dados, qual loss ele vai alcançar? Para escala: prever cada caractere com scores igualmente prováveis dá 4.42, e os melhores desses modelos ficam abaixo de 2.

Palavras e símbolos nesta lição
token
Aqui, uma previsão: um caractere
Sua vez

Defina my_guess como sua perda prevista para a largura 1024 em 1.5 milhão de tokens. Depois defina actual a partir das execuções registradas (a média sobre as 3 seeds), e error para o quanto você errou (real menos palpite).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.