Uma média melhor, a mesma habilidade
Por que isso importa "Nosso modelo tem menor loss" é a afirmação mais comum em modelagem de linguagem. O loss é uma média sobre cada previsão, e uma média pode melhorar sem que a parte que você quer melhorar mude nada.
O curso registrou dois GPTs treinados da mesma forma, com 32 e 64 de largura. O mais largo tem a menor perda retida. Mas as previsões não são todas iguais: terminar uma palavra que você começou ("gradi" depois "e") é fácil; escolher a primeira letra da next palavra é escolher o que dizer a seguir, e é difícil.
judge.per_position(model, X, Y) dá a perda de cada previsão. Tire a média sobre todas as posições, sobre as primeiras letras das palavras e sobre o resto de cada palavra.
Preveja primeiro: o modelo mais amplo fica melhor em escolher a próxima palavra?
Palavras e símbolos nesta lição
- seed
- o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
Defina my_guess como "yes" ou "no". Preencha loss[width] com um dicionário de 'all', 'first letter' e 'inside word' para larguras 32 e 64. Defina gain_from para o tipo de posição ("first letter" ou "inside word") de onde vem o ganho do modelo mais largo.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.