Guarda: i pesi dell'attenzione
Hai appena implementato l'attenzione scaled dot-product. Ecco che cosa fanno davvero quelle matrici. L'attenzione permette a ogni parola di guardare tutte le parole della frase (compresa se stessa), dare un punteggio a quanto conta ciascuna, e ricostruirsi come miscela pesata di loro.
Premi play. Guarda la parola sat prestare attenzione a the cat sat: i punteggi grezzi diventano pesi softmax la cui somma è 1, la linea più spessa punta alla parola che conta di più, e sat assorbe il suo contesto, soprattutto da cat.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.