Programma Lezione 156 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Generare in fretta: la cache key-value

Perché è importante I chatbot scrivono un token alla volta. Fatto in modo ingenuo, ogni nuovo token ricalcola le key e i value di tutto il testo fin lì. La cache key-value è il motivo per cui le risposte scorrono in fretta.

Guardalo

Avvia l'animazione. Con la maschera causale, le key e i value delle posizioni precedenti non cambiano mai quando arrivano nuovi token. Quindi tienili: per ogni nuovo token calcola solo i suoi q, k e v, aggiungi k e v alla cache, e presta attenzione con q sulle key nella cache.

Lavoro per nuovo token: il modo ingenuo calcola t key e value per un testo di lunghezza t; la cache ne calcola 1. Su una risposta di 1,000 token fanno circa 500,000 calcoli di key contro 1,000.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
self-attention
ogni posizione presta attenzione alle posizioni dello stesso testo
maschera causale
punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
cache key-value
tenere le key e i value precedenti così ogni nuovo token costa un passo
Tocca a te

Scrivi cached_step(x, cache, Wq, Wk, Wv): x è una nuova riga; aggiungi la sua key e il suo value a cache["K"] e cache["V"] (liste), e restituisci il suo output di attenzione su tutte le posizioni nella cache. Dare le righe di X una alla volta deve riprodurre esattamente la self-attention causale. Imposta keys_naive e keys_cached: quanti vettori key calcola ciascun metodo per produrre 1,000 token.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.