Clínica: um bom modelo escrevendo mal
Por que isso importa Um modelo treinado ainda pode produzir lixo se o código ao redor estiver errado. Essas falhas vivem no código de amostragem, não nos pesos, e as pessoas treinam novamente por dias antes de olhar para lá.
Cada caso abaixo usa o mesmo modelo width-64 registrado, que escreve texto razoável em temperature 0.8. Cada caso tem uma falha em como o texto é amostrado ou decodificado:
- too_cold: temperatura perto de 0. O modelo sempre escolhe seu próximo caractere favorito e cai em um laço.
- too_hot: temperatura muito acima de 1. A distribuição é achatada até que símbolos raros apareçam com a mesma frequência que letras.
- shifted_decode: os ids são transformados de volta em caracteres com o alfabeto deslocado em um, então uma amostra fina parece um código: cada espaço vira "!".
Probes: sample(c) mostra o texto; repeat_share(text) e space_share(text) o medem.
Preencha diagnosis e fixes para os casos A, B e C. Depois do seu ajuste, cada configuração deve corresponder à saudável, e a amostra deve parecer texto novamente.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.