Programma Lezione 197 di 246 · Modulo 18: Imparare senza etichette
Modulo 18: Imparare senza etichette

SimCLR: due viste di una foto

Perché è importante Ora il metodo intero: viste casuali più InfoNCE, ripetuto. Nessuna etichetta in nessun momento. Ciò che impara dipende quasi del tutto da una scelta che fai tu: quali differenze tra due viste gli si dice di ignorare.

Ogni passo: prendi un batch di foto, crea due viste casuali di ognuna con ssl.augment, codificale entrambe, proiettale con una piccola testa, e minimizza InfoNCE. Le augmentation definiscono il compito: tutto ciò che differisce tra due viste di una foto (posizione del ritaglio, immagine speculare, luminosità, saturazione) è ciò che la rete impara a ignorare. Tutto ciò che resta uguale (l'oggetto) è ciò che impara a tenere.

Le vere esecuzioni di SimCLR usano migliaia di passi e batch grandi. Qui ne esegui una breve dal vivo (larghezza 8, batch 32, 80 passi) per vedere la loss scendere, poi leggi le lunghe esecuzioni registrate del corso (larghezza 32, 2500 passi da 128).

Le esecuzioni registrate includono due variazioni della stessa ricetta: aggiungere alle viste una rotazione della tonalità casuale (l'articolo di SimCLR ha trovato essenziali forti cambi di colore sulle sue foto), e una temperatura più alta (0.5).

Dove si trova oggi il campo SimCLR ha bisogno di molti negativi (le altre foto del batch), quindi si addestra meglio con batch molto grandi (l'articolo ne usava 4,096). I metodi successivi eliminano i negativi: BYOL (2020) e DINO (2021) addestrano una rete a coincidere con una sua copia aggiornata lentamente, e MAE (2021) nasconde tre quarti dei riquadri di un'immagine e li ricostruisce, la versione per immagini del riempi-il-vuoto di questo modulo. Per il testo esiste la stessa divisione: previsione mascherata (BERT) e previsione del token successivo (GPT).

Parole e simboli di questa lezione
previsione mascherata
nascondere parte dell'input e addestrare la rete a riempirla
vista
una copia di una foto cambiata a caso: ritagliata, ribaltata, più luminosa, meno colorata
augmentation
il cambiamento casuale che crea una vista; decide che cosa la rete impara a ignorare
InfoNCE
cross-entropy su una domanda che il batch si pone da solo: quale altra vista viene dalla stessa foto?
temperatura
il numero per cui si dividono le similarità prima della softmax; più piccolo rende la scelta più netta
SimCLR
addestramento auto-supervisionato con due viste di ogni foto e InfoNCE (Chen et al. 2020)
Tocca a te

Esegui il pre-addestramento dal vivo e riempi live con la loss media dei primi 10 e degli ultimi 10 passi. Poi riempi report dalle esecuzioni registrate: l'accuratezza della sonda (oggetti originali) per i pixel grezzi, l'encoder casuale, SimCLR, SimCLR con rotazione della tonalità, e il supervisionato, più gap, di quanto SimCLR è dietro il supervisionato, come frazione (0.05 significa 5 punti). Infine imposta hue_helped su True o False.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.