Conteúdo do curso Lição 203 de 246 · Módulo 19: Maior, e o quanto melhor (leis de escala)
Módulo 19: Maior, e o quanto melhor (leis de escala)

Pesos, dados ou computação: o que está segurando?

Por que isso importa Gastar mais na coisa errada não compra nada. Um modelo sem dados não melhora quando você o torna maior; um modelo minúsculo não melhora quando você o alimenta com mais. A grade mostra ambos, se você souber onde olhar.

Olhe ao longo de uma linha da grade (uma largura, cada vez mais dados) e para baixo em uma coluna (uma quantidade de dados, modelos cada vez mais largos).

A execução

A é data-limited quando tornar o modelo mais largo mal ajuda (ou prejudica) com essa quantidade de dados. É model-limited quando mais dados mal ajudam com essa largura.

Palavras e símbolos nesta lição
token
Aqui, uma previsão: um caractere
dados limitados, modelo limitado
quando mais largura, ou mais dados, mal ajuda
Sua vez

Preencha gain_wider: para 8,000 tokens e para 1.5 milhão de tokens, a queda da perda da largura 256 para a largura 1024. Preencha gain_more_data: para a largura 2 e para a largura 1024, a queda da perda de 512,000 para 1.5 milhão de tokens. Depois defina verdict para dois cantos: "data-limited" ou "model-limited".

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.