Kurrikulum Leson 156 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Vinnige generering: die sleutel-waarde-vasbuffer

Hoekom dit saak maak Chatbots skryf een token teen 'n slag. As dit naïef gedoen word, bereken elke nuwe token die keys en values van die hele teks tot dusver oor. Die key-value cache is waarom antwoorde vinnig stroom.

Sien dit

Speel die animasi af. Met die oorlewingsmasker verander die sleutels en waardes van vorige posisies nooit wanneer nuwe tokens aankom nie. Hou hulle dus: bereken vir elke nuwe token net sy eie q, k en v, voeg k en v by die cache by, en doen aandag met q oor die gekasimeerde sleutels.

Werk per nuwe token: die naïewe manier bereken t sleutels en waardes vir 'n teks van lengte t; die cache bereken 1. Oor 'n 1,000-token antwoord is dit ongeveer 500,000 sleutelberekeninge teen 1,000.

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
aandag
softmax van query-key-scores, gebruik om die waardes te gemiddelde
self-attention
elke posisie let op die posisies van dieselfde teks
causal mask
skores bo die diagonaal word gestel op minus infinity: geen posisie sien die toekoms nie
sleutel-waarde-verwerf
hou vroeëre sleutels en waardes sodat elke nuwe token een stap kos
Jou beurt

Skryf cached_step(x, cache, Wq, Wk, Wv): x is een nuwe ry; voeg sy sleutel en waarde by cache["K"] en cache["V"] (lyste), en gee sy aandaguitset oor alle gekasime posisies terug. Die voer van die rye van X een na een moet presies kausale self-aandag reproduceer. Stel keys_naive en keys_cached: hoeveel sleutelvektore elke metode bereken om 1,000 tokens te produseer.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.