Programma Lezione 120 di 246 · Modulo 10: Reti che vedono (CNN)
Modulo 10: Reti che vedono (CNN)

Reti più profonde, e le esecuzioni registrate

Perché è importante Impilare più layer dovrebbe aiutare, finché all'improvviso non aiuta più. Il corso ha addestrato questo esperimento sulla sua macchina così puoi vedere tutte e diciotto le esecuzioni in pochi secondi.

L'esperimento registrato cnn-depth-shortcuts ha addestrato CNN con 2, 8 e 20 layer conv (16 canali ciascuno) sul dataset delle forme, ciascuna con e senza scorciatoie (aggiungere l'input di un blocco al suo output, dal Modulo 6), e ciascuna con tre semi. Tutto il resto era identico: 2,000 immagini di addestramento, 4 epoche, Adam. Riprodurre è immediato perché non si addestra niente; stai leggendo ciò che è successo davvero.

Tre semi, perché il Modulo 9 ha ragione: un'esecuzione sola può ingannare. Guarda la dispersione di ogni impostazione, non solo la sua media.

Prima Indovina la curva: quale impostazione finisce con l'accuratezza di test media più alta, e la rete semplice da 20 layer impara con ogni seme?

Esecuzione registrata: un addestramento vero che il corso ha fatto una volta e fornisce, così le lezioni possono studiare addestramenti troppo grandi o troppo numerosi per farli dal vivo su ogni portatile. Ogni stampa dice RECORDED.

Parole e simboli di questa lezione
REGISTRATO
un addestramento vero che il corso ha eseguito una volta e ti fornisce da studiare
Tocca a te

Imposta my_best sulla coppia (depth, shortcuts) che pensi finisca più in alto in media, e my_plain20_reliable su True se pensi che la rete semplice da 20 layer impari con tutti e tre i semi. Poi usa nnsim.recorded per riempire final_acc: da (depth, shortcuts) alla lista delle accuratezze di test finali dei tre semi (prima il seme 0), imposta mean_acc sulla media di ogni lista, e best sulla coppia con la media più alta. exp.seeds(depth=..., shortcuts=...) dà le tre esecuzioni di un'impostazione. Il caso è 0.25 (quattro forme).

Infine, usa la regola del rumore del Modulo 9 per dire quali impostazioni differiscono davvero. Con tre semi ciascuna, due medie differiscono davvero solo se lo scarto supera circa 2 × s × sqrt(2/3), dove s è la più grande tra le dispersioni dei semi delle due impostazioni (np.std dei tre valori). Qualsiasi cosa più vicina è un pareggio.

Imposta ties_with_best sulla lista di ogni coppia che pareggia con best secondo quella regola, best compreso.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.