Programma Les 120 van 246 · Module 10: Netwerken die zien (CNNs)
Module 10: Netwerken die zien (CNNs)

Diepere netwerken, en de geregistreerde runs

Waarom dit ertoe doet Meer lagen stapelen zou moeten helpen, totdat het plotseling niet meer doet. De cursus heeft dit experiment getraind op zijn eigen machine zodat je alle achttien runs in seconden kunt zien.

Het opgenomen experiment cnn-depth-shortcuts trainde CNNs met 2, 8 en 20 conv layers (elk 16 kanalen) op de shapes dataset, elk met en zonder shortcuts (de input van een block optellen bij de output, uit Module 6), en elk met drie seeds. Alles wat overbleef was identiek: 2.000 trainingsbeelden, 4 epochs, Adam. Replayen is instant omdat er niets traint; je leest wat er echt gebeurde.

Drie zaden, want Module 9 klopt: één run kan misleiden. Kijk naar de spreiding van elke instelling, niet alleen naar het gemiddelde.

Roep Curve eerst aan: welke instelling eindigt met de hoogste gemiddelde test accuracy, en leert het simpele 20-laagse netwerk op elke seed?

Recorded run: een echte trainingsrun die de cursus één keer heeft gemaakt en verzonden, zodat lessen runs kunnen bestuderen die te groot of te veel zijn om live op elke laptop te trainen. Elke print zegt RECORDED.

Woorden en symbolen in deze les
RECORDED
Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
Jij bent aan de beurt

Zet my_best op het (depth, shortcuts) paar dat volgens jou gemiddeld het hoogst eindigt, en my_plain20_reliable op True als je denkt dat het simpele 20-laagse netwerk op alle drie de seeds leert. Gebruik dan nnsim.recorded om final_acc in te vullen: (depth, shortcuts) naar de lijst van de uiteindelijke test accuracies van de drie seeds (seed 0 eerst), zet mean_acc op het gemiddelde van elke lijst, en best op het paar met het hoogste gemiddelde. exp.seeds(depth=..., shortcuts=...) geeft de drie runs van één instelling. Chance is 0.25 (vier vormen).

Ten slotmaal gebruik je de noise rule van Module 9 om te zeggen welke instellingen echt verschillen. Met drie seeds elk verschillen twee gemiddelden echt alleen als de kloof meer is dan ongeveer 2 × s × sqrt(2/3), waarbij s de grotere van de seed spreads van de twee instellingen is (np.std van de drie waarden). Alles wat dichterbij is is een gelijkspel.

Zet ties_with_best op de lijst van elke paar die gelijkstaat aan best volgens die regel, inclusief best zelf.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.