Een getraind netwerk hergebruiken (transfer learning)
Waarom dit ertoe doet Je hebt zelden veel gelabelde data voor je eigen taak. Een netwerk getraind op een grote gerelateerde dataset kent al nuttige kenmerken; het hergebruiken ervan zorgt ervoor dat een kleine dataset ver reikt.
Het plan: train de conv layers op een grote, schone shapes dataset. Daarna krijg je een nieuwe, moeilijkere taak met slechts 40 gelabelde afbeeldingen: dezelfde vormen, maar veel ruisiger. Houd de getrainde conv layers bevroren en train alleen een nieuwe finale laag op features die gemiddeld zijn over de hele afbeelding (position-free features generaliseren vanuit weinig voorbeelden). Vergelijk dit met het trainen van het hele netwerk vanaf nul op de 40 afbeeldingen.
Frozen: lagen waarvan de weights niet worden bijgewerkt tijdens training. Fine-tuning: het verder trainen van een pretrained netwerk op nieuwe data.
Woorden en symbolen in deze les
- transfer learning
- hergebruik van lagen getraind op de ene taak voor een andere
- RECORDED
- Een echte run van de cursus is één keer getraind en verzonden zodat je het kunt bestuderen
De voortraining heeft de cursus één keer gedaan en de gewichten worden voor je geladen (een opgenomen netwerk). Schrijf train_head(w1, w2, X, y, steps), die alleen een nieuwe uitvoerlaag van 16 naar 4 traint bovenop bevroren convolutielagen (Adam met 1e-2 werkt) en een voorspelfunctie teruggeeft, en train_scratch(X, y, steps), die alle drie de lagen traint vanaf nieuwe willekeurige gewichten. De test draait beide op 1.000 testafbeeldingen met ruis. Je transfermodel moet het eigen vanaf-nul-netwerk van de cursus (vaste instellingen: 8 en 16 kanalen, Adam 3e-3, 300 stappen, ongeveer 58%) met minstens 8 punten verslaan; de transferrun van de cursus haalt ongeveer 72%. Je eigen vanaf-nul-netwerk hoeft alleen iets te leren (boven 35%, waar toeval 25% is). Verslaat het jouwe het vanaf-nul-netwerk van de cursus, goed gedaan: vanaf nul goed trainen is een echte vaardigheid, en daarom legt een eerlijke vergelijking de instellingen ook vooraf vast.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.