Programma Lezione 198 di 246 · Modulo 18: Imparare senza etichette
Modulo 18: Imparare senza etichette

Abbinare didascalie a immagini (l'idea di CLIP) (Facoltativa)

Perché è importante La ricerca di immagini a partire dal testo, e la parte di "comprensione" dei generatori di immagini, partono da un trucco: addestrare un encoder di immagini e un encoder di testo così che un'immagine e la sua didascalia finiscano vicine. È di nuovo InfoNCE, tra due tipi di dati. Questa lezione è facoltativa: non serve per il certificato.

Ogni foto qui ha una didascalia vera, scritta da come è stata generata: "a green ring on the left". Il lato immagine è l'encoder SimCLR congelato più un layer addestrabile verso 16 numeri. Il lato testo è un sacchetto di parole (un numero per parola: è nella didascalia?) per un layer addestrabile verso 16 numeri.

La loss è simmetrica: per un batch di n coppie, ogni immagine deve scegliere la sua didascalia tra le n didascalie, e ogni didascalia la sua immagine tra le n immagini. Due cross-entropy sulla stessa griglia di similarità n x n, una lungo le righe e una lungo le colonne.

Il test chiede più di "l'immagine giusta per prima": l'immagine che corrisponde meglio ha almeno il colore della didascalia? Il suo oggetto? Il suo lato?

Parole e simboli di questa lezione
InfoNCE
cross-entropy su una domanda che il batch si pone da solo: quale altra vista viene dalla stessa foto?
temperatura
il numero per cui si dividono le similarità prima della softmax; più piccolo rende la scelta più netta
SimCLR
addestramento auto-supervisionato con due viste di ogni foto e InfoNCE (Chen et al. 2020)
Tocca a te

Scrivi pair_loss(a, b, temperature) (tensori del motore di forma (n, 16): normalizzali entrambi con ssl.normalize (ogni riga a lunghezza 1, come nella lezione su InfoNCE), similarità divise per la temperatura, cross-entropy lungo le righe più cross-entropy lungo le colonne) e addestra 600 passi da 128 coppie a temperatura 0.1. Superi con l'immagine giusta per prima per almeno il 5% delle didascalie di test (il caso dà 0.5%).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.