Qualsiasi curva fatta di gobbe (approssimazione universale)
Perché è importante Si dice che una rete con un layer nascosto possa adattarsi a qualsiasi curva. Qui vedi perché, costruendola tu con delle gobbe.
Guardalo
Una sigmoide molto ripida è un gradino: 0 a sinistra, 1 a destra. Due gradini, uno in su a left e uno in giù a right, fanno una gobba: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Sono due neuroni nascosti e un peso di output. Metti gobbe una accanto all'altra, ognuna alta quanto la curva nel suo punto, e tracci qualsiasi curva, come un grafico a barre. Più neuroni, barre più sottili, adattamento più vicino.
Approssimazione universale: un layer nascosto con abbastanza neuroni può avvicinarsi quanto vuoi a qualsiasi curva ragionevole. Non dice niente su quanto sia facile trovare quei pesi con l'addestramento.
Riepilogo Due neuroni fanno una gobba; abbastanza gobbe fanno qualsiasi cosa.
Parole e simboli di questa lezione
- neurone
- w . x + b, poi un'attivazione
- pesi (w, W), bias (b)
- i numeri che un neurone impara; il bias sposta il suo output
- sigmoide
- 1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
- layer nascosto
- un layer tra input e output che costruisce nuove caratteristiche
Scrivi bump(x, left, right, height, s=60), poi approx(x, f, n_bumps) che divide l'intervallo da 0 a pi in n_bumps pezzi uguali e aggiunge una gobba per pezzo, ognuna con l'altezza di f a metà del suo pezzo. Con 10 gobbe (20 neuroni), l'errore quadratico medio rispetto a sin su 0..pi deve essere sotto 0.01.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.