Amostragem de texto com temperatura
Por que isso importa Todo chatbot tem uma configuração de "temperature". É uma divisão, e ela troca textos seguros e repetitivos por textos variados e mais arriscados.
Para escolher o próximo caractere, um modelo transforma seus scores em probabilidades com softmax. Dividir os scores por uma temperature T primeiro muda o quão concentrada essa distribuição é: T abaixo de 1 a torna mais aguda (o favorito vence com mais frequência), T acima de 1 a torna mais plana (surpresas se tornam prováveis).
A entropy, menos a soma de p log p, mede o quão espalhada uma distribuição está: 0 quando uma escolha é certa, ln(n) quando todos os n são igualmente prováveis.
Você vai medir isso em um modelo real gravado: o pequeno GPT do curso treinado no texto da própria lição.
Palavras e símbolos nesta lição
- temperature
- divida as pontuações antes do softmax: abaixo de 1 mais nítido, acima de 1 mais plano
- entropy
- o quão espalhada uma distribuição é: 0 quando certa, ln(n) quando todas as n escolhas são iguais
Defina my_order para as temperaturas 0.5, 1.0 e 2.0 ordenadas da menor para a maior entropia (sua previsão). Depois escreva entropy_at(scores, T) para uma linha de scores, e preencha measured com a entropia média da distribuição de próximo caractere do modelo sobre os contextos fornecidos, para cada temperatura.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.