Programma Lezione 41 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Risposte sì o no (regressione logistica)

Perché è importante La maggior parte dei compiti chiede una categoria, non un numero: spam o no, gatto o cane. Un neurone più una funzione che schiaccia risponde sì o no con una probabilità.

Guardalo

La sigmoide schiaccia qualsiasi numero nell'intervallo da 0 a 1: sigmoid(z) = 1 / (1 + exp(-z)). sigmoid(0) = 0.5, sigmoid(3) è circa 0.95, sigmoid(-3) circa 0.05. Leggi l'output come "la probabilità che la risposta sia sì".

La loss è la cross-entropy del Modulo 2 con due classi: -mean(y log p + (1 - y) log(1 - p)). Il suo gradiente viene di una semplicità bellissima: grad_w = X.T @ (p - y) / n. Di nuovo previsione meno verità.

Regressione logistica: un neurone con una sigmoide, addestrato con la cross-entropy. Traccia un confine dritto tra due classi.

Riepilogo Punteggio, schiaccialo in una probabilità, addestra su (p - y).

Parole e simboli di questa lezione
neurone
w . x + b, poi un'attivazione
sigmoide
1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
learning rate (lr)
quanto è grande ogni passo di addestramento
Tocca a te

Scrivi sigmoid(z) e train_logistic(X, y, lr, steps) che restituisce (w, b), partendo da zeri. Poi accuracy(X, y, w, b): la quota di punti in cui p > 0.5 coincide con l'etichetta. Raggiungi almeno il 90% su punti nascosti degli stessi due gruppi.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.