Programma Lezione 196 di 246 · Modulo 18: Imparare senza etichette
Modulo 18: Imparare senza etichette

Trova il tuo compagno nel batch (InfoNCE)

Perché è importante Tutto il segnale di addestramento di SimCLR è una sola loss, e la conosci già: è cross-entropy, su una domanda a scelta multipla che la rete si pone da sola.

Prendi un batch di n foto e crea due viste casuali di ognuna (ritaglio, ribaltamento, cambio di luminosità e colore). Ottieni 2n viste. Per ogni vista, la domanda è: quale delle altre 2n - 1 viste viene dalla stessa foto? Esattamente una.

  1. Codifica ogni vista in un breve vettore z, e porta ogni z a lunghezza 1.
  2. Similarità di due viste = il loro prodotto scalare (il coseno), diviso per una temperatura (qui 0.2): temperature piccole rendono i punteggi più netti.
  3. Una vista non può scegliere se stessa: il suo punteggio viene messo a meno infinito.
  4. Cross-entropy, con la risposta giusta che è il compagno: il compagno della vista i è i + n (e viceversa).

Guarda la scena: sei foto, due viste ciascuna, la griglia delle similarità, e la scelta di ogni riga.

Numeri piccolissimi

Due foto, quindi quattro viste. Se le similarità della vista 0 con le viste 1, 2, 3 sono 0.1, 0.9, 0.2 (il suo compagno è la vista 2), divise per 0.2 diventano 0.5, 4.5, 1.0. La softmax dà al compagno 0.954, e la loss della vista 0 è -log 0.954 = 0.047.

Parole e simboli di questa lezione
vista
una copia di una foto cambiata a caso: ritagliata, ribaltata, più luminosa, meno colorata
InfoNCE
cross-entropy su una domanda che il batch si pone da solo: quale altra vista viene dalla stessa foto?
temperatura
il numero per cui si dividono le similarità prima della softmax; più piccolo rende la scelta più netta
SimCLR
addestramento auto-supervisionato con due viste di ogni foto e InfoNCE (Chen et al. 2020)
Tocca a te

Scrivi info_nce(z, temperature) in semplice NumPy per z di forma (2n, d), che restituisce la loss media su tutte le 2n righe. Poi calcola example: la loss per il batch di quattro viste nel codice di partenza.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.