Lehrplan Lektion 120 von 246 · Modul 10: Netzwerke, die sehen (CNNs)
Modul 10: Netzwerke, die sehen (CNNs)

Tiefere Netzwerke und die aufgezeichneten Durchläufe

Warum das wichtig ist Mehr Schichten zu stapeln sollte helfen, bis es plötzlich nicht mehr tut. Der Kurs hat dieses Experiment auf seiner eigenen Maschine trainiert, damit du alle achtzehn Durchläufe in Sekunden sehen kannst.

Das aufgezeichnete Experiment cnn-depth-shortcuts trainierte CNNs mit 2, 8 und 20 conv layers (jeweils 16 channels) auf dem shapes dataset, jedes mit und ohne shortcuts (Hinzufügen des Inputs eines Blocks zu seinem Output, aus Module 6) und jedes mit drei seeds. Alles andere war identisch: 2.000 Trainingsbilder, 4 epochs, Adam. Das Replaying ist sofort, weil nichts trainiert wird; du liest, was wirklich passiert ist.

Drei Seeds, weil Modul 9 richtig ist: ein Durchlauf kann täuschen. Schau dir die Streuung jeder Einstellung an, nicht nur ihren Durchschnitt.

Rufe Curve zuerst auf: welche Einstellung endet mit der höchsten durchschnittlichen Test accuracy, und lernt das einfache 20-Schichten-Netzwerk auf jedem seed?

Aufgezeichneter Durchlauf: ein echter Trainingsdurchlauf, den der Kurs einmal erstellt und liefert, damit Lektionen Durchläufe studieren können, die zu groß oder zu viele sind, um sie live auf jedem Laptop zu trainieren. Jeder Ausdruck sagt RECORDED.

Wörter und Symbole in dieser Lektion
RECORDED
Ein echter Durchlauf des Kurses wurde einmal trainiert und wird dir zum Lernen zugeschickt
Du bist dran

Setze my_best auf das (depth, shortcuts) Paar, das deiner Meinung nach im Durchschnitt am höchsten endet, und my_plain20_reliable auf True, wenn du glaubst, dass das einfache 20-Layer Netzwerk auf allen drei Seeds lernt. Nutze dann nnsim.recorded, um final_acc zu füllen: (depth, shortcuts) mit der Liste der finalen Test accuracies der drei Seeds (Seed 0 zuerst), setze mean_acc auf den Durchschnitt jeder Liste und best auf das Paar mit dem höchsten Durchschnitt. exp.seeds(depth=..., shortcuts=...) gibt die drei Durchläufe einer Einstellung an. Chance ist 0.25 (vier Formen).

Schließlich verwende die Noise-Regel aus Modul 9, um zu sagen, welche Einstellungen sich wirklich unterscheiden. Mit jeweils drei Seeds unterscheiden sich zwei Durchschnitte nur dann wirklich, wenn die Lücke mehr als etwa 2 × s × sqrt(2/3) ist, wobei s die größere der beiden Seed-Streuungen der Einstellungen ist (np.std der drei Werte). Alles, was näher liegt, ist ein Unentschieden.

Setze ties_with_best auf die Liste jedes Paares, das mit best nach dieser Regel verbunden ist, einschließlich best selbst.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.