Generare in fretta: la cache key-value
Perché è importante I chatbot scrivono un token alla volta. Fatto in modo ingenuo, ogni nuovo token ricalcola le key e i value di tutto il testo fin lì. La cache key-value è il motivo per cui le risposte scorrono in fretta.
Guardalo
Avvia l'animazione. Con la maschera causale, le key e i value delle posizioni precedenti non cambiano mai quando arrivano nuovi token. Quindi tienili: per ogni nuovo token calcola solo i suoi q, k e v, aggiungi k e v alla cache, e presta attenzione con q sulle key nella cache.
Lavoro per nuovo token: il modo ingenuo calcola t key e value per un testo di lunghezza t; la cache ne calcola 1. Su una risposta di 1,000 token fanno circa 500,000 calcoli di key contro 1,000.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- self-attention
- ogni posizione presta attenzione alle posizioni dello stesso testo
- maschera causale
- punteggi sopra la diagonale messi a meno infinito: nessuna posizione vede il futuro
- cache key-value
- tenere le key e i value precedenti così ogni nuovo token costa un passo
Scrivi cached_step(x, cache, Wq, Wk, Wv): x è una nuova riga; aggiungi la sua key e il suo value a cache["K"] e cache["V"] (liste), e restituisci il suo output di attenzione su tutte le posizioni nella cache. Dare le righe di X una alla volta deve riprodurre esattamente la self-attention causale. Imposta keys_naive e keys_cached: quanti vettori key calcola ciascun metodo per produrre 1,000 token.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.