Lehrplan Lektion 196 von 246 · Modul 18: Lernen ohne Labels
Modul 18: Lernen ohne Labels

Wähle deinen Partner aus dem Batch aus (InfoNCE)

Warum das wichtig istDas gesamte Trainingssignal von SimCLR ist ein loss, und du weißt es bereits: es ist cross-entropy, bei einer Multiple-Choice-Frage, die das Netzwerk selbst setzt.

Nimm eine Charge von n Fotos und erstelle zwei zufällige Ansichten von jedem (ausschneiden, spiegeln, Helligkeit und Farbe ändern). Das ergibt 2n Ansichten. Für jede Ansicht lautet die Frage: welche der anderen 2n - 1 Ansichten stammt aus demselben Foto?Genau eine tat es.

  1. Kodiere jede Ansicht zu einem kurzen Vektor z und skaliere jedes z auf die Länge 1.
  2. Ähnlichkeit von zwei Ansichten = ihr Skalarprodukt (der Kosinus), geteilt durch eine temperatur (0.2 hier): kleine Temperaturen machen die Scores schärfer.
  3. A Ansicht darf sich selbst nicht auswählen: ihr eigener Score wird auf minus unendlich gesetzt.
  4. Cross-entropy, wobei die richtige Antwort der Partner ist: Partner von i ist i + n (und umgekehrt).

Schau dir die Szene an: sechs Fotos, zwei Ansichten jedes, das Gitter der Ähnlichkeiten und die Wahl jeder Zeile.

Kleine Zahlen

Zwei Fotos, also vier Ansichten. Wenn die Ähnlichkeiten von Ansicht 0 zu den Ansichten 1, 2, 3 0.1, 0.9, 0.2 sind (sein Partner ist Ansicht 2), werden sie durch 0.2 zu 0.5, 4.5, 1.0. Softmax gibt dem Partner 0.954, und der loss von Ansicht 0 ist -log 0.954 = 0.047.

Wörter und Symbole in dieser Lektion
view
eine zufällig geänderte Kopie eines Bildes: beschnitten, gespiegelt, heller, weniger farbig
InfoNCE
cross-entropy auf einer Frage, die der batch selbst setzt: welche andere Ansicht kam aus demselben Bild?
temperature
welche Ähnlichkeiten werden vor dem softmax geteilt; kleiner macht die Wahl schärfer
SimCLR
selbstüberwachtes Training mit zwei Ansichten jedes Bildes und InfoNCE (Chen et al. 2020)
Du bist dran

Schreibe info_nce(z, temperature) in einfachem NumPy für z mit der Form (2n, d) und gib den mittleren Verlust über alle 2n Zeilen zurück. Berechne dann example: den Verlust für den vier-Ansichten-Batch im Starter.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.