Conteúdo do curso Lição 131 de 246 · Módulo 11: Redes com memória (RNNs)
Módulo 11: Redes com memória (RNNs)

Amostragem de texto com temperatura

Por que isso importa Todo chatbot tem uma configuração de "temperature". É uma divisão, e ela troca textos seguros e repetitivos por textos variados e mais arriscados.

Para escolher o próximo caractere, um modelo transforma seus scores em probabilidades com softmax. Dividir os scores por uma temperature T primeiro muda o quão concentrada essa distribuição é: T abaixo de 1 a torna mais aguda (o favorito vence com mais frequência), T acima de 1 a torna mais plana (surpresas se tornam prováveis).

A entropy, menos a soma de p log p, mede o quão espalhada uma distribuição está: 0 quando uma escolha é certa, ln(n) quando todos os n são igualmente prováveis.

Você vai medir isso em um modelo real gravado: o pequeno GPT do curso treinado no texto da própria lição.

Palavras e símbolos nesta lição
temperature
divida as pontuações antes do softmax: abaixo de 1 mais nítido, acima de 1 mais plano
entropy
o quão espalhada uma distribuição é: 0 quando certa, ln(n) quando todas as n escolhas são iguais
Sua vez

Defina my_order para as temperaturas 0.5, 1.0 e 2.0 ordenadas da menor para a maior entropia (sua previsão). Depois escreva entropy_at(scores, T) para uma linha de scores, e preencha measured com a entropia média da distribuição de próximo caractere do modelo sobre os contextos fornecidos, para cada temperatura.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.