Programma Les 156 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Snel genereren: de key-value cache

Waarom dit ertoe doet Chatbots schrijven één token tegelijk. Als dit naïef wordt gedaan, berekent elk nieuw token de keys en values van de hele tekst tot nu toe opnieuw. De key-value cache is waarom antwoorden snel streamen.

Bekijk het

Speel de animatie af. Met de causale masker worden de keys en values van eerdere posities nooit veranderd wanneer nieuwe tokens aankomen. Houd ze dus vast: bereken voor elk nieuw token alleen zijn eigen q, k en v, voeg k en v toe aan de cache, en doe de attend met q over de gecachte keys.

Werk per nieuw token: de naïeve manier berekent t keys en values voor een tekst van lengte t; de cache berekent 1. Over een antwoord van 1,000 tokens zijn dat ongeveer 500,000 key berekeningen tegenover 1,000.

Woorden en symbolen in deze les
query, key, value
waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
let op
softmax van query-key scores, gebruikt om de waarden te middelen
self-attention
elke positie let op de posities van dezelfde tekst
causal mask
scores boven de diagonaal worden ingesteld op min oneindig: geen positie ziet de toekomst
key-value cache
bewaar eerdere keys en values zodat elk nieuw token één stap kost
Jij bent aan de beurt

Schrijf cached_step(x, cache, Wq, Wk, Wv): x is een nieuwe rij; voeg de key en value toe aan cache["K"] en cache["V"] (lijsten), en geef de attention output over alle gecachte posities terug. Het één voor één voeden van de rijen van X moet de causal self-attention exact reproduceren. Stel keys_naive en keys_cached in: hoeveel key vectoren elke methode berekent om 1,000 tokens te produceren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.