Vinnige generering: die sleutel-waarde-vasbuffer
Hoekom dit saak maak Chatbots skryf een token teen 'n slag. As dit naïef gedoen word, bereken elke nuwe token die keys en values van die hele teks tot dusver oor. Die key-value cache is waarom antwoorde vinnig stroom.
Sien dit
Speel die animasi af. Met die oorlewingsmasker verander die sleutels en waardes van vorige posisies nooit wanneer nuwe tokens aankom nie. Hou hulle dus: bereken vir elke nuwe token net sy eie q, k en v, voeg k en v by die cache by, en doen aandag met q oor die gekasimeerde sleutels.
Werk per nuwe token: die naïewe manier bereken t sleutels en waardes vir 'n teks van lengte t; die cache bereken 1. Oor 'n 1,000-token antwoord is dit ongeveer 500,000 sleutelberekeninge teen 1,000.
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-scores, gebruik om die waardes te gemiddelde
- self-attention
- elke posisie let op die posisies van dieselfde teks
- causal mask
- skores bo die diagonaal word gestel op minus infinity: geen posisie sien die toekoms nie
- sleutel-waarde-verwerf
- hou vroeëre sleutels en waardes sodat elke nuwe token een stap kos
Skryf cached_step(x, cache, Wq, Wk, Wv): x is een nuwe ry; voeg sy sleutel en waarde by cache["K"] en cache["V"] (lyste), en gee sy aandaguitset oor alle gekasime posisies terug. Die voer van die rye van X een na een moet presies kausale self-aandag reproduceer. Stel keys_naive en keys_cached: hoeveel sleutelvektore elke metode bereken om 1,000 tokens te produseer.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.