Adivinhe um modelo maior
Por que isso importa Treinar um modelo grande custa meses e milhões. Antes de qualquer pessoa gastar isso, eles preveem quão bom ele será a partir de execuções pequenas. O fato surpreendente por trás do boom da IA é que a previsão geralmente funciona. Primeiro, veja quão boa é a sua própria intuição.
Os modelos neste módulo são modelos de caracteres pequenos: eles leem 8 caracteres e preveem o próximo. Um número define o tamanho deles, a width da camada oculta. O curso treinou 150 deles (10 larguras, 5 quantidades de dados, 3 sementes cada) em 1,5 milhão de caracteres do próprio texto da lição, e mediu a perda de cada um em 100.000 caracteres que eles nunca viram.
O modeloA width-128 (24,401 weights) treinado em 1.5 milhão de tokens atinge uma loss de retenção de cerca de 1.86. Um token aqui é uma predição: um caractere.
Antes de você olhar: um modelo de largura-1024 tem 7.7 vezes mais pesos. Treinado nos mesmos dados, qual loss ele vai alcançar? Para escala: prever cada caractere com scores igualmente prováveis dá 4.42, e os melhores desses modelos ficam abaixo de 2.
Palavras e símbolos nesta lição
- token
- Aqui, uma previsão: um caractere
Defina my_guess como sua perda prevista para a largura 1024 em 1.5 milhão de tokens. Depois defina actual a partir das execuções registradas (a média sobre as 3 seeds), e error para o quanto você errou (real menos palpite).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.