Programma Les 131 van 246 · Module 11: Netwerken met geheugen (RNNs)
Module 11: Netwerken met geheugen (RNNs)

Tekst samplen met temperatuur

Waarom dit ertoe doet Elke chatbot heeft een "temperature" instelling. Het is één deling, en het ruilt veilige, herhalende tekst in voor gevarieerde, risicovollere tekst.

Om het volgende karakter te kiezen, zet een model zijn scores om naar waarschijnlijkheden met softmax. Het delen van de scores door een temperature T verandert eerst hoe gepiekt die verdeling is: T onder 1 maakt het scherper (de favoriet wint vaker), T boven 1 maakt het vlakker (verrassingen worden waarschijnlijk).

De entropy, min de som van p log p, meet hoe verspreid een verdeling is: 0 wanneer één keuze zeker is, ln(n) wanneer alle n even waarschijnlijk zijn.

Je zult het meten op een echt opgenomen model: de kleine GPT van de cursus getraind op zijn eigen lestekst.

Woorden en symbolen in deze les
temperature
deele de scores voor softmax: onder 1 scherper, boven 1 vlakker
entropy
hoe verspreid een verdeling is: 0 bij zekerheid, ln(n) wanneer alle n keuzes gelijk zijn
Jij bent aan de beurt

Zet my_order op de temperaturen 0.5, 1.0 en 2.0 gesorteerd van laagste naar hoogste entropie (je voorspelling). Schrijf dan entropy_at(scores, T) voor één rij scores en vul measured met de gemiddelde entropie van de next-character distributie van het model over de gegeven contexten voor elke temperatuur.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.