Kurrikulum Leson 195 van 246 · Module 18: Leer sonder etikette
Module 18: Leer sonder etikette

Toets funksies met 'n eenvoudige klassifiseerder (lineêre sondes)

Waarom dit saak maak Naaste bure het 'n ruwe antwoord gegee. Die standaardtoets van geleerde kenmerke is 'n linear probe: vries die kenmerke, doen opleiding op slegs 'n linear classifier bo-op met 'n paar labels, en meet dit op nuwe foto's. As 'n reguit lyn die objekte kan skei, het die kenmerke die harde werk gedoen.

Die probe is die softmax-regressie van Module 3, op kenmer in plaas van pixels:

  1. Standaardiseer elke kenmerk met die gemiddelde en spreiding van die opleidingsstel (en gebruik dieselfde nommers op die toetsstel).
  2. Gradient descent op cross-entropy, alle traing-rye gelyktydig: 1000 stappe, stapgrootte 0.5, weight decay 0.001.
  3. Nauwkeurigheid op die toetsfoto's.

Dit is doelbewus swak: 'n lineêre model met 400 labels. Dit is die punt. Dit kan nie goeie kenmerke uitvind nie; dit kan net lees wat die kenmerke reeds sê.

Woorde en simbole in hierdie les
lineêre sonde
a lineêre klassifiseerder wat op bevrore kenmerke opgelei is: 'n toets van wat die kenmerke reeds sê
SimCLR
self-gesuperviseerde opleiding met twee weergawes van elke prent en InfoNCE (Chen et al. 2020)
Jou beurt

Skryf my_probe(F_train, y_train, F_test, y_test) soos beskryf (gewigte en biesies begin by nul). Vul dan accuracy in vir 'n willekele encoder (ssl.Encoder(32, seed=0)) en die aangetekende SimCLR encoder met jou probe. Die rou-pixel basiese lyn (768 nommers per foto) word vir jou bereken met die kursus se probe, wat dieselfde rekenkunde in float32 op die vinnige matriksvermegvuldiging doen: jou float64-weergawe sou 'n halfminuut neem op 768 insets in die blutser.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.