Programma Lezione 45 di 246 · Modulo 3: Dal neurone all'MLP
Modulo 3: Dal neurone all'MLP

Qualsiasi curva fatta di gobbe (approssimazione universale)

Perché è importante Si dice che una rete con un layer nascosto possa adattarsi a qualsiasi curva. Qui vedi perché, costruendola tu con delle gobbe.

Guardalo

Una sigmoide molto ripida è un gradino: 0 a sinistra, 1 a destra. Due gradini, uno in su a left e uno in giù a right, fanno una gobba: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Sono due neuroni nascosti e un peso di output. Metti gobbe una accanto all'altra, ognuna alta quanto la curva nel suo punto, e tracci qualsiasi curva, come un grafico a barre. Più neuroni, barre più sottili, adattamento più vicino.

Approssimazione universale: un layer nascosto con abbastanza neuroni può avvicinarsi quanto vuoi a qualsiasi curva ragionevole. Non dice niente su quanto sia facile trovare quei pesi con l'addestramento.

Riepilogo Due neuroni fanno una gobba; abbastanza gobbe fanno qualsiasi cosa.

Parole e simboli di questa lezione
neurone
w . x + b, poi un'attivazione
pesi (w, W), bias (b)
i numeri che un neurone impara; il bias sposta il suo output
sigmoide
1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
layer nascosto
un layer tra input e output che costruisce nuove caratteristiche
Tocca a te

Scrivi bump(x, left, right, height, s=60), poi approx(x, f, n_bumps) che divide l'intervallo da 0 a pi in n_bumps pezzi uguali e aggiunge una gobba per pezzo, ognuna con l'altezza di f a metà del suo pezzo. Con 10 gobbe (20 neuroni), l'errore quadratico medio rispetto a sin su 0..pi deve essere sotto 0.01.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.