Guarda: softmax
La regressione logistica ti ha dato una probabilità per due classi. E con molte classi, o ogni volta che un modello deve trasformare punteggi grezzi in un insieme pulito di probabilità? Quel lavoro spetta alla softmax.
Premi play. Guarda quattro punteggi grezzi (logit) venire elevati a esponenziale (che amplifica il vantaggio) e poi normalizzati in modo che la loro somma sia esattamente 1, diventando una distribuzione di probabilità. Questa sola funzione compare ovunque più avanti: pesi dell'attenzione, classificatori, e un LLM che sceglie il suo token successivo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.