Text-Sampling mit Temperatur
Warum das wichtig istJeder Chatbot hat eine "temperature" Einstellung. Es ist eine Division, und es tauscht sicheren, repetitiven Text gegen abwechslungsreichen, riskanteren Text ein.
Um das nächste Zeichen auszuwählen, wandelt ein Modell seine Scores mit softmax in Wahrscheinlichkeiten um. Das Teilen der Scores durch eine temperature T ändert zuerst, wie spitz diese Verteilung ist: T unter 1 schärft sie (der Favorit gewinnt öfter), T über 1 flacht sie ab (Überraschungen werden wahrscheinlich).
Die entropy, minus die Summe von p log p, misst, wie verteilt eine Verteilung ist: 0 wenn eine Wahl sicher ist, ln(n) wenn alle n gleich wahrscheinlich sind.
Du wirst es an einem echten aufgezeichneten Modell messen: dem winzigen GPT des Kurses, das auf seinem eigenen Unterrichtstext trainiert wurde.
Wörter und Symbole in dieser Lektion
- temperature
- teile die Werte vor softmax auf: unter 1 schärfer, über 1 flacher
- entropy
- wie weit eine Verteilung gestreut ist: 0 wenn sicher, ln(n) wenn alle n Auswahlmöglichkeiten gleich sind
Setze my_order auf die Temperaturen 0.5, 1.0 und 2.0, sortiert von der niedrigsten zur höchsten Entropie (deine Vorhersage). Schreibe dann entropy_at(scores, T) für eine Zeile von Scores und fülle measured mit der durchschnittlichen Entropie der nächsten Zeichenverteilung des Modells über die gegebenen Kontexte für jede Temperatur.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.