Ein trainiertes Netzwerk wiederverwenden (Transfer Learning)
Warum das wichtig ist Du hast selten viele gelabelte Daten für deine eigene Aufgabe. Ein Netzwerk, das auf einem großen verwandten Datensatz trainiert wurde, kennt bereits nützliche Merkmale. Seine Wiederverwendung lässt einen winzigen Datensatz weit reichen.
Der Plan: trainiere die conv layers auf einem großen, sauberen shapes dataset. Dann begegne einer neuen, schwereren Aufgabe mit nur 40 gelabelten Bildern: die gleichen shapes, aber viel verrauschter. Halte die trainierten conv layers eingefroren und trainiere nur eine neue finale layer auf features, die über das ganze Bild gemittelt sind (position-freie features generalisieren von wenigen Beispielen). Vergleiche dies mit dem Training des gesamten networks von Grund auf mit den 40 Bildern.
Frozen: Schichten, deren Gewichte während des Trainings nicht aktualisiert werden. Fine-tuning: Fortsetzen des Trainings eines vortrainierten Netzwerks auf neuen Daten.
Wörter und Symbole in dieser Lektion
- transfer learning
- Schichten, die auf einer Aufgabe trainiert wurden, für eine andere wiederverwenden
- RECORDED
- Ein echter Durchlauf des Kurses wurde einmal trainiert und wird dir zum Lernen zugeschickt
Das Vortraining hat der Kurs einmal gemacht, und seine Gewichte werden für dich geladen (ein aufgezeichnetes Netz). Schreib train_head(w1, w2, X, y, steps), das nur eine neue Ausgabeschicht von 16 auf 4 über eingefrorenen Faltungsschichten trainiert (Adam mit 1e-2 funktioniert) und eine Vorhersagefunktion zurückgibt, und train_scratch(X, y, steps), das alle drei Schichten von neuen zufälligen Gewichten aus trainiert. Der Test führt beide auf 1.000 verrauschten Testbildern aus. Dein Transfermodell muss das eigene Netz des Kurses ohne Vortraining (feste Einstellungen: 8 und 16 Kanäle, Adam 3e-3, 300 Schritte, etwa 58%) um mindestens 8 Punkte schlagen; der Transferlauf des Kurses erreicht etwa 72%. Dein eigenes Netz ohne Vortraining muss nur etwas lernen (über 35%, wo der Zufall bei 25% liegt). Wenn deins das Netz des Kurses ohne Vortraining schlägt, gut gemacht: Training von Grund auf gut abzustimmen ist eine echte Fähigkeit, und genau deshalb legt ein fairer Vergleich die Einstellungen vorher fest.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.