Monstervoorbeeld met temperatuur
Waarom dit saak maak Elke chatbot het 'n "temperature" instelling. Dit is een deling, en dit ruil veilige, herhalende teks vir diverse, meer risiko-ryke teks in.
Om die volgende karakter te kies, verander 'n model sy punte in waarskynlikhede met softmax. Deel die punte deur 'n temperature T verander eers hoe skerp daardie verdeling is: T onder 1 maak dit skerp (die gunsteling wen meer gereeld), T bo 1 maak dit plat (verrassings word waarskynlik).
Die entropy, minus die som van p log p, meet hoe verspreid 'n verdeling is: 0 wanneer een keuse seker is, ln(n) wanneer al n gelyk waarskynlik is.
Jy gaan dit meet op 'n regte opgeneemde model: die kursus se klein GPT wat op sy eie lesstekstes opgelei is.
Woorde en simbole in hierdie les
- temperature
- deel die punte voor softmax: onder 1 skerper, bo 1 platter
- entropy
- hoe wyd versprei 'n verdeling is: 0 wanneer seker, ln(n) wanneer alle n keuses gelyk is
Stel my_order in op die temperature 0.5, 1.0 en 2.0 gesorteer van laagste na hoogste entropie (jou voorspelling). Skryf dan entropy_at(scores, T) vir een ry tellinge, en vul measured met die gemiddelde entropie van die model se volgende-karakter-verdeling oor die gegewe kontekste, vir elke temperatuur.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.