SimCLR: due viste di una foto
Perché è importante Ora il metodo intero: viste casuali più InfoNCE, ripetuto. Nessuna etichetta in nessun momento. Ciò che impara dipende quasi del tutto da una scelta che fai tu: quali differenze tra due viste gli si dice di ignorare.
Ogni passo: prendi un batch di foto, crea due viste casuali di ognuna con ssl.augment, codificale entrambe, proiettale con una piccola testa, e minimizza InfoNCE. Le augmentation definiscono il compito: tutto ciò che differisce tra due viste di una foto (posizione del ritaglio, immagine speculare, luminosità, saturazione) è ciò che la rete impara a ignorare. Tutto ciò che resta uguale (l'oggetto) è ciò che impara a tenere.
Le vere esecuzioni di SimCLR usano migliaia di passi e batch grandi. Qui ne esegui una breve dal vivo (larghezza 8, batch 32, 80 passi) per vedere la loss scendere, poi leggi le lunghe esecuzioni registrate del corso (larghezza 32, 2500 passi da 128).
Le esecuzioni registrate includono due variazioni della stessa ricetta: aggiungere alle viste una rotazione della tonalità casuale (l'articolo di SimCLR ha trovato essenziali forti cambi di colore sulle sue foto), e una temperatura più alta (0.5).
Dove si trova oggi il campo SimCLR ha bisogno di molti negativi (le altre foto del batch), quindi si addestra meglio con batch molto grandi (l'articolo ne usava 4,096). I metodi successivi eliminano i negativi: BYOL (2020) e DINO (2021) addestrano una rete a coincidere con una sua copia aggiornata lentamente, e MAE (2021) nasconde tre quarti dei riquadri di un'immagine e li ricostruisce, la versione per immagini del riempi-il-vuoto di questo modulo. Per il testo esiste la stessa divisione: previsione mascherata (BERT) e previsione del token successivo (GPT).
Parole e simboli di questa lezione
- previsione mascherata
- nascondere parte dell'input e addestrare la rete a riempirla
- vista
- una copia di una foto cambiata a caso: ritagliata, ribaltata, più luminosa, meno colorata
- augmentation
- il cambiamento casuale che crea una vista; decide che cosa la rete impara a ignorare
- InfoNCE
- cross-entropy su una domanda che il batch si pone da solo: quale altra vista viene dalla stessa foto?
- temperatura
- il numero per cui si dividono le similarità prima della softmax; più piccolo rende la scelta più netta
- SimCLR
- addestramento auto-supervisionato con due viste di ogni foto e InfoNCE (Chen et al. 2020)
Esegui il pre-addestramento dal vivo e riempi live con la loss media dei primi 10 e degli ultimi 10 passi. Poi riempi report dalle esecuzioni registrate: l'accuratezza della sonda (oggetti originali) per i pixel grezzi, l'encoder casuale, SimCLR, SimCLR con rotazione della tonalità, e il supervisionato, più gap, di quanto SimCLR è dietro il supervisionato, come frazione (0.05 significa 5 punti). Infine imposta hue_helped su True o False.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.