Snel genereren: de key-value cache
Waarom dit ertoe doet Chatbots schrijven één token tegelijk. Als dit naïef wordt gedaan, berekent elk nieuw token de keys en values van de hele tekst tot nu toe opnieuw. De key-value cache is waarom antwoorden snel streamen.
Bekijk het
Speel de animatie af. Met de causale masker worden de keys en values van eerdere posities nooit veranderd wanneer nieuwe tokens aankomen. Houd ze dus vast: bereken voor elk nieuw token alleen zijn eigen q, k en v, voeg k en v toe aan de cache, en doe de attend met q over de gecachte keys.
Werk per nieuw token: de naïeve manier berekent t keys en values voor een tekst van lengte t; de cache berekent 1. Over een antwoord van 1,000 tokens zijn dat ongeveer 500,000 key berekeningen tegenover 1,000.
Woorden en symbolen in deze les
- query, key, value
- waar een positie naar zoekt; wat elke positie aanbiedt om te matchen; wat het overdraagt
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- self-attention
- elke positie let op de posities van dezelfde tekst
- causal mask
- scores boven de diagonaal worden ingesteld op min oneindig: geen positie ziet de toekomst
- key-value cache
- bewaar eerdere keys en values zodat elk nieuw token één stap kost
Schrijf cached_step(x, cache, Wq, Wk, Wv): x is een nieuwe rij; voeg de key en value toe aan cache["K"] en cache["V"] (lijsten), en geef de attention output over alle gecachte posities terug. Het één voor één voeden van de rijen van X moet de causal self-attention exact reproduceren. Stel keys_naive en keys_cached in: hoeveel key vectoren elke methode berekent om 1,000 tokens te produceren.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.