Waarom deel deur die vierkantswortel van d
Waarom dit saak maak Elke transformer deel sy aandagskale deur die vierkantswortel van die sleutelgrootte. As jy dit uitskeep, hou aandag op om te meng en die gradiënte verdwyn byna. Jy sal meet waarom.
A puntproduk van twee willeke vektore van lengte d tel d produkte bymekaar op. Elkeen het 'n spreiding van ongeveer 1, so die som het 'n spreiding van ongeveer die vierkantswortel van d. Die rede: wanneer jy onafhanklike willeke getalle bymekaar optel, tel hul spreidings nie bymekaar op nie, hul kwadrate doen (die kwadrate word variansies genoem). d produkte, elk met variansie 1, gee variansie d, so die spreiding is die vierkantswortel van d. Vir d = 64 is dit 8.
Skores wat oor plus en minus 8 of meer versprei is, maak softmax amper one-hot: een gewig naby 1, die res naby 0. 'n One-hot softmax het klein gradiënte: die helling van elke uitset met betrekking op sy eie score is p(1 - p), wat naby 0 is wanneer p naby 0 of 1 is (Module 2 se softmax-gradient les lei dit af, en hierdie module se backward-through-attention les gebruik dit), so die model leer stadig. Deel deur die vierkantswortel van d bring die spreiding terug na ongeveer 1, wat d ook al is.
Voorspel: wanneer d van 4 tot 256 groei, wat gebeur met die grootste gewig, met en sonder die deling?
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-skorings, gebruik om die waardes te gemiddelde
Vul
in. Skryf dan my_guess. Skryf top_weight(d, scaled): 2,000 willekeurige navrae teen 32 willekeurige sleutels elk (normale nommers, seed 0), die gemiddelde van die grootste softmax weight. Vul measured.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.