Lehrplan Lektion 131 von 246 · Modul 11: Netzwerke mit Gedächtnis (RNNs)
Modul 11: Netzwerke mit Gedächtnis (RNNs)

Text-Sampling mit Temperatur

Warum das wichtig istJeder Chatbot hat eine "temperature" Einstellung. Es ist eine Division, und es tauscht sicheren, repetitiven Text gegen abwechslungsreichen, riskanteren Text ein.

Um das nächste Zeichen auszuwählen, wandelt ein Modell seine Scores mit softmax in Wahrscheinlichkeiten um. Das Teilen der Scores durch eine temperature T ändert zuerst, wie spitz diese Verteilung ist: T unter 1 schärft sie (der Favorit gewinnt öfter), T über 1 flacht sie ab (Überraschungen werden wahrscheinlich).

Die entropy, minus die Summe von p log p, misst, wie verteilt eine Verteilung ist: 0 wenn eine Wahl sicher ist, ln(n) wenn alle n gleich wahrscheinlich sind.

Du wirst es an einem echten aufgezeichneten Modell messen: dem winzigen GPT des Kurses, das auf seinem eigenen Unterrichtstext trainiert wurde.

Wörter und Symbole in dieser Lektion
temperature
teile die Werte vor softmax auf: unter 1 schärfer, über 1 flacher
entropy
wie weit eine Verteilung gestreut ist: 0 wenn sicher, ln(n) wenn alle n Auswahlmöglichkeiten gleich sind
Du bist dran

Setze my_order auf die Temperaturen 0.5, 1.0 und 2.0, sortiert von der niedrigsten zur höchsten Entropie (deine Vorhersage). Schreibe dann entropy_at(scores, T) für eine Zeile von Scores und fülle measured mit der durchschnittlichen Entropie der nächsten Zeichenverteilung des Modells über die gegebenen Kontexte für jede Temperatur.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.