Programma Les 195 van 246 · Module 18: Leren zonder labels
Module 18: Leren zonder labels

Testen van functies met een simpele classifier (lineaire probes)

Waarom dit ertoe doet Nearest neighbours gaven een ruw antwoord. De standaardtest van geleerde features is een linear probe: bevries de features, train alleen een lineaire classifier erbovenop met een paar labels, en meet het op nieuwe foto's. Als een rechte lijn de objecten kan scheiden, hebben de features het zware werk gedaan.

De probe is de softmax regressie van Module 3, op features in plaats van pixels:

  1. Standaardiseer elke feature met het gemiddelde en de spreiding van de trainingsset (en gebruik dezelfde getallen op de testset).
  2. Gradient descent op cross-entropy, alle trainingsregels tegelijk: 1000 stappen, stapgrootte 0.5, weight decay 0.001.
  3. Nauwkeurigheid op de testfoto's.

Het is bewust zwak: een lineair model met 400 labels. Dat is de bedoeling. Het kan geen goede features verzinnen; het kan alleen lezen wat de features al zeggen.

Woorden en symbolen in deze les
lineaire sonde
a lineaire classifier getraind op bevroren features: een test van wat de features al zeggen
SimCLR
self-supervised training met twee weergaven van elke afbeelding en InfoNCE (Chen et al. 2020)
Jij bent aan de beurt

Schrijf my_probe(F_train, y_train, F_test, y_test) zoals beschreven (weights en biases beginnen bij nul). Vul daarna accuracy in voor een willekeurige encoder (ssl.Encoder(32, seed=0)) en de opgenomen SimCLR encoder met je probe. De raw-pixel basislijn (768 getallen per foto) wordt voor je berekend met de probe van de cursus. Deze voert dezelfde rekenkundige handelingen uit in float32 op de snelle matrix vermenigvuldiging. Jouw float64 versie zou een halve minuut kosten voor 768 inputs in de browser.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.