Programma Lezione 90 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Guarda: softmax

La regressione logistica ti ha dato una probabilità per due classi. E con molte classi, o ogni volta che un modello deve trasformare punteggi grezzi in un insieme pulito di probabilità? Quel lavoro spetta alla softmax.

Premi play. Guarda quattro punteggi grezzi (logit) venire elevati a esponenziale (che amplifica il vantaggio) e poi normalizzati in modo che la loro somma sia esattamente 1, diventando una distribuzione di probabilità. Questa sola funzione compare ovunque più avanti: pesi dell'attenzione, classificatori, e un LLM che sceglie il suo token successivo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.