Programma Lezione 122 di 246 · Modulo 10: Reti che vedono (CNN)
Modulo 10: Reti che vedono (CNN)

Riusare una rete addestrata (transfer learning)

Perché è importante Raramente hai molti dati etichettati per il tuo compito. Una rete addestrata su un grande dataset collegato conosce già caratteristiche utili; riusarla permette a un dataset minuscolo di andare lontano.

Il piano: addestra i layer conv su un grande dataset pulito di forme. Poi affronta un compito nuovo e più difficile con solo 40 immagini etichettate: le stesse forme, ma molto più rumorose. Tieni congelati i layer conv addestrati e addestra solo un nuovo layer finale sulle caratteristiche mediate su tutta l'immagine (le caratteristiche indipendenti dalla posizione generalizzano da pochi esempi). Confronta con l'addestramento dell'intera rete da zero sulle 40 immagini.

Congelati: layer i cui pesi non vengono aggiornati durante l'addestramento. Fine-tuning: continuare ad addestrare una rete preaddestrata su dati nuovi.

Parole e simboli di questa lezione
transfer learning
riusare layer addestrati su un compito per un altro
REGISTRATO
un addestramento vero che il corso ha eseguito una volta e ti fornisce da studiare
Tocca a te

Il preaddestramento è stato fatto una volta dal corso e i suoi pesi vengono caricati per te (una rete registrata). Scrivi train_head(w1, w2, X, y, steps) che addestra solo un nuovo layer di output da 16 a 4 sopra i layer conv congelati (Adam a 1e-2 funziona) e restituisce una funzione predict, e train_scratch(X, y, steps) che addestra tutti e tre i layer da nuovi pesi casuali. Il test esegue entrambe su 1,000 immagini di test rumorose. Il tuo modello con transfer deve battere la rete da zero del corso stesso (impostazioni fisse: 8 e 16 canali, Adam 3e-3, 300 passi, circa 58%) di almeno 8 punti; l'esecuzione con transfer del corso ottiene circa il 72%. La tua rete da zero deve solo imparare qualcosa (sopra il 35%, dove il caso è 25%). Se la tua batte la rete da zero del corso, complimenti: regolare bene un addestramento da zero è una vera abilità, ed è anche il motivo per cui un confronto equo fissa le impostazioni in anticipo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.