Programma Lezione 131 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Campionare testo con la temperatura

Perché è importante Ogni chatbot ha un'impostazione "temperatura". È una divisione, e scambia un testo sicuro e ripetitivo con uno vario e più rischioso.

Per scegliere il carattere successivo, un modello trasforma i suoi punteggi in probabilità con la softmax. Dividere prima i punteggi per una temperatura T cambia quanto è appuntita quella distribuzione: T sotto 1 la rende più netta (il favorito vince più spesso), T sopra 1 la appiattisce (le sorprese diventano probabili).

L'entropia, meno la somma di p log p, misura quanto è sparsa una distribuzione: 0 quando una scelta è certa, ln(n) quando tutte le n sono ugualmente probabili.

La misurerai su un vero modello registrato: il minuscolo GPT del corso addestrato sul testo delle sue lezioni.

Parole e simboli di questa lezione
temperatura
dividere i punteggi prima della softmax: sotto 1 più netta, sopra 1 più piatta
entropia
quanto è sparsa una distribuzione: 0 quando è certa, ln(n) quando tutte le n scelte sono uguali
Tocca a te

Imposta my_order sulle temperature 0.5, 1.0 e 2.0 ordinate dall'entropia più bassa alla più alta (la tua previsione). Poi scrivi entropy_at(scores, T) per una riga di punteggi, e riempi measured con l'entropia media della distribuzione del carattere successivo del modello sui contesti dati, per ogni temperatura.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.