Programma Lezione 195 di 246 · Modulo 18: Imparare senza etichette
Modulo 18: Imparare senza etichette

Testare le feature con un classificatore semplice (sonde lineari)

Perché è importante I vicini più prossimi hanno dato una risposta approssimativa. Il test standard delle feature apprese è una sonda lineare: congela le feature, addestra sopra solo un classificatore lineare con poche etichette, e misuralo su foto nuove. Se una retta riesce a separare gli oggetti, il lavoro difficile l'hanno fatto le feature.

La sonda è la regressione softmax del Modulo 3, sulle feature invece che sui pixel:

  1. Standardizza ogni feature con la media e la dispersione dell'insieme di addestramento (e usa gli stessi numeri sull'insieme di test).
  2. Discesa del gradiente sulla cross-entropy, tutte le righe di addestramento insieme: 1000 passi, passo 0.5, weight decay 0.001.
  3. Accuratezza sulle foto di test.

È debole apposta: un modello lineare con 400 etichette. È proprio questo il punto. Non può inventare buone feature; può solo leggere ciò che le feature dicono già.

Parole e simboli di questa lezione
sonda lineare
un classificatore lineare addestrato su feature congelate: un test di ciò che le feature dicono già
SimCLR
addestramento auto-supervisionato con due viste di ogni foto e InfoNCE (Chen et al. 2020)
Tocca a te

Scrivi my_probe(F_train, y_train, F_test, y_test) come descritto (pesi e bias partono da zero). Poi riempi accuracy per un encoder casuale (ssl.Encoder(32, seed=0)) e per l'encoder SimCLR registrato con la tua sonda. Il riferimento dei pixel grezzi (768 numeri per foto) è calcolato per te con la sonda del corso, che fa la stessa aritmetica in float32 sulla moltiplicazione di matrici veloce: la tua versione in float64 richiederebbe mezzo minuto su 768 input nel browser.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.