Pesos, dados ou computação: o que está segurando?
Por que isso importa Gastar mais na coisa errada não compra nada. Um modelo sem dados não melhora quando você o torna maior; um modelo minúsculo não melhora quando você o alimenta com mais. A grade mostra ambos, se você souber onde olhar.
Olhe ao longo de uma linha da grade (uma largura, cada vez mais dados) e para baixo em uma coluna (uma quantidade de dados, modelos cada vez mais largos).
A execuçãoA é data-limited quando tornar o modelo mais largo mal ajuda (ou prejudica) com essa quantidade de dados. É model-limited quando mais dados mal ajudam com essa largura.
Palavras e símbolos nesta lição
- token
- Aqui, uma previsão: um caractere
- dados limitados, modelo limitado
- quando mais largura, ou mais dados, mal ajuda
Preencha gain_wider: para 8,000 tokens e para 1.5 milhão de tokens, a queda da perda da largura 256 para a largura 1024. Preencha gain_more_data: para a largura 2 e para a largura 1024, a queda da perda de 512,000 para 1.5 milhão de tokens. Depois defina verdict para dois cantos: "data-limited" ou "model-limited".
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.