Programma Lezione 149 di 246 · Modulo 13: Attenzione e transformer
Modulo 13: Attenzione e transformer

Le posizioni come onde

Perché è importante I vettori di posizione appresi si fermano al testo più lungo visto in addestramento. Il transformer originale usava invece onde fisse, che danno a ogni posizione uno schema unico e fanno sembrare uguale "a 3 passi di distanza" ovunque succeda.

Per la posizione p e l'indice di coppia i (0, 1, 2, ...), con d numeri in totale:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

La prima coppia è un'onda veloce, le coppie successive sono sempre più lente, come le lancette di un orologio: secondi, minuti, ore. Insieme danno a ogni posizione una lettura distinta.

La proprietà utile: il prodotto scalare PE[p] . PE[p + k] dipende solo da k, la distanza, non da p. (Ogni coppia contribuisce con il coseno della differenza degli angoli, per l'identità sin a sin b + cos a cos b = cos(a - b).)

A che punto è oggi il campo La maggior parte dei modelli linguistici aperti oggi non usa né onde aggiunte all'input né vettori di posizione appresi. RoPE (rotary position embedding, Su et al. 2021) ruota ogni vettore query e key di un angolo che cresce con la sua posizione, dopo le proiezioni delle query e delle key, così il punteggio tra due posizioni dipende solo da quanto sono lontane. ALiBi (Press et al. 2021) non aggiunge nessun vettore di posizione: sottrae da ogni punteggio di attenzione una penalità che cresce con la distanza. Entrambi si adattano meglio a testi più lunghi di quelli dell'addestramento. Le onde qui sono la scelta del transformer originale e la più facile da vedere.

Parole e simboli di questa lezione
query, key, value
che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
attenzione
softmax dei punteggi query-key, usata per fare la media dei value
vettore di posizione
aggiunto a ogni token così l'attenzione può distinguere l'ordine
Tocca a te

Scrivi positions(n, d) che restituisce un array n per d. Poi imposta same_distance sulla differenza più grande tra i PE[p] . PE[p + 5] per p da 0 a 50 (dovrebbe essere praticamente 0).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.