Tekst samplen met temperatuur
Waarom dit ertoe doet Elke chatbot heeft een "temperature" instelling. Het is één deling, en het ruilt veilige, herhalende tekst in voor gevarieerde, risicovollere tekst.
Om het volgende karakter te kiezen, zet een model zijn scores om naar waarschijnlijkheden met softmax. Het delen van de scores door een temperature T verandert eerst hoe gepiekt die verdeling is: T onder 1 maakt het scherper (de favoriet wint vaker), T boven 1 maakt het vlakker (verrassingen worden waarschijnlijk).
De entropy, min de som van p log p, meet hoe verspreid een verdeling is: 0 wanneer één keuze zeker is, ln(n) wanneer alle n even waarschijnlijk zijn.
Je zult het meten op een echt opgenomen model: de kleine GPT van de cursus getraind op zijn eigen lestekst.
Woorden en symbolen in deze les
- temperature
- deele de scores voor softmax: onder 1 scherper, boven 1 vlakker
- entropy
- hoe verspreid een verdeling is: 0 bij zekerheid, ln(n) wanneer alle n keuzes gelijk zijn
Zet my_order op de temperaturen 0.5, 1.0 en 2.0 gesorteerd van laagste naar hoogste entropie (je voorspelling). Schrijf dan entropy_at(scores, T) voor één rij scores en vul measured met de gemiddelde entropie van de next-character distributie van het model over de gegeven contexten voor elke temperatuur.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.