Conteúdo do curso Lição 162 de 246 · Módulo 14: Clínica de Execução II
Módulo 14: Clínica de Execução II

Clínica: um bom modelo escrevendo mal

Por que isso importa Um modelo treinado ainda pode produzir lixo se o código ao redor estiver errado. Essas falhas vivem no código de amostragem, não nos pesos, e as pessoas treinam novamente por dias antes de olhar para lá.

Cada caso abaixo usa o mesmo modelo width-64 registrado, que escreve texto razoável em temperature 0.8. Cada caso tem uma falha em como o texto é amostrado ou decodificado:

  • too_cold: temperatura perto de 0. O modelo sempre escolhe seu próximo caractere favorito e cai em um laço.
  • too_hot: temperatura muito acima de 1. A distribuição é achatada até que símbolos raros apareçam com a mesma frequência que letras.
  • shifted_decode: os ids são transformados de volta em caracteres com o alfabeto deslocado em um, então uma amostra fina parece um código: cada espaço vira "!".

Probes: sample(c) mostra o texto; repeat_share(text) e space_share(text) o medem.

Sua vez

Preencha diagnosis e fixes para os casos A, B e C. Depois do seu ajuste, cada configuração deve corresponder à saudável, e a amostra deve parecer texto novamente.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.