Lehrplan Lektion 195 von 246 · Modul 18: Lernen ohne Labels
Modul 18: Lernen ohne Labels

Testen von Features mit einem einfachen Klassifikator (lineare Sonden)

Warum das wichtig istNearest neighbours gaben eine grobe Antwort. Der Standardtest für gelernte Features ist eine linear probe: friere die Features ein, trainiere nur einen linearen Classifier obenauf mit wenigen Labels und messe ihn an neuen Fotos. Wenn eine gerade Linie die Objekte trennen kann, haben die Features die harte Arbeit geleistet.

Die Sonde ist die Softmax-Regression von Modul 3, auf Features statt auf Pixel:

  1. Standardisiere jedes Merkmal mit dem Mittelwert und der Streuung des Trainingsdatensatzes (und verwende dieselben Zahlen auf dem Testdatensatz).
  2. Gradientenabstieg auf Cross-Entropy, alle Trainingszeilen gleichzeitig: 1000 Schritte, Schrittweite 0.5, Weight Decay 0.001.
  3. Genauigkeit auf den Testfotos.

Es ist absichtlich schwach: ein lineares Modell mit 400 labels. Das ist der Punkt. Es kann keine guten features erfinden; es kann nur lesen, was die features bereits aussagen.

Wörter und Symbole in dieser Lektion
lineare Sonde
a linearer Klassifikator, trainiert auf eingefrorenen Features: ein Test, was die Features bereits aussagen
SimCLR
selbstüberwachtes Training mit zwei Ansichten jedes Bildes und InfoNCE (Chen et al. 2020)
Du bist dran

Schreibe my_probe(F_train, y_train, F_test, y_test) wie beschrieben (weights und biases starten bei null). Fülle dann accuracy für einen zufälligen encoder (ssl.Encoder(32, seed=0)) und den aufgezeichneten SimCLR encoder mit deiner probe. Der raw-pixel baseline (768 Zahlen pro Foto) wird für dich mit der probe des Kurses berechnet, welche dieselbe Arithmetik in float32 auf der schnellen matrix multiply ausführt: deine float64 Version würde eine halbe Minute bei 768 inputs im browser benötigen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.