Le posizioni come onde
Perché è importante I vettori di posizione appresi si fermano al testo più lungo visto in addestramento. Il transformer originale usava invece onde fisse, che danno a ogni posizione uno schema unico e fanno sembrare uguale "a 3 passi di distanza" ovunque succeda.
Per la posizione p e l'indice di coppia i (0, 1, 2, ...), con d numeri in totale:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
La prima coppia è un'onda veloce, le coppie successive sono sempre più lente, come le lancette di un orologio: secondi, minuti, ore. Insieme danno a ogni posizione una lettura distinta.
La proprietà utile: il prodotto scalare PE[p] . PE[p + k] dipende solo da k, la distanza, non da p. (Ogni coppia contribuisce con il coseno della differenza degli angoli, per l'identità sin a sin b + cos a cos b = cos(a - b).)
A che punto è oggi il campo La maggior parte dei modelli linguistici aperti oggi non usa né onde aggiunte all'input né vettori di posizione appresi. RoPE (rotary position embedding, Su et al. 2021) ruota ogni vettore query e key di un angolo che cresce con la sua posizione, dopo le proiezioni delle query e delle key, così il punteggio tra due posizioni dipende solo da quanto sono lontane. ALiBi (Press et al. 2021) non aggiunge nessun vettore di posizione: sottrae da ogni punteggio di attenzione una penalità che cresce con la distanza. Entrambi si adattano meglio a testi più lunghi di quelli dell'addestramento. Le onde qui sono la scelta del transformer originale e la più facile da vedere.
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- vettore di posizione
- aggiunto a ogni token così l'attenzione può distinguere l'ordine
Scrivi positions(n, d) che restituisce un array n per d. Poi imposta same_distance sulla differenza più grande tra i PE[p] . PE[p + 5] per p da 0 a 50 (dovrebbe essere praticamente 0).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.