Campionare testo con la temperatura
Perché è importante Ogni chatbot ha un'impostazione "temperatura". È una divisione, e scambia un testo sicuro e ripetitivo con uno vario e più rischioso.
Per scegliere il carattere successivo, un modello trasforma i suoi punteggi in probabilità con la softmax. Dividere prima i punteggi per una temperatura T cambia quanto è appuntita quella distribuzione: T sotto 1 la rende più netta (il favorito vince più spesso), T sopra 1 la appiattisce (le sorprese diventano probabili).
L'entropia, meno la somma di p log p, misura quanto è sparsa una distribuzione: 0 quando una scelta è certa, ln(n) quando tutte le n sono ugualmente probabili.
La misurerai su un vero modello registrato: il minuscolo GPT del corso addestrato sul testo delle sue lezioni.
Parole e simboli di questa lezione
- temperatura
- dividere i punteggi prima della softmax: sotto 1 più netta, sopra 1 più piatta
- entropia
- quanto è sparsa una distribuzione: 0 quando è certa, ln(n) quando tutte le n scelte sono uguali
Imposta my_order sulle temperature 0.5, 1.0 e 2.0 ordinate dall'entropia più bassa alla più alta (la tua previsione). Poi scrivi entropy_at(scores, T) per una riga di punteggi, e riempi measured con l'entropia media della distribuzione del carattere successivo del modello sui contesti dati, per ogni temperatura.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.