SimCLR: zwei Ansichten eines Fotos
Warum das wichtig ist Jetzt die ganze Methode: zufällige Ansichten plus InfoNCE, wiederholt. Zu keinem Zeitpunkt Labels. Was sie lernt, hängt fast ganz von einer Entscheidung ab, die du triffst: welche Unterschiede zwischen zwei Ansichten sie ignorieren soll.
Jeder Schritt: Nimm einen Batch Fotos, mach mit ssl.augment zwei zufällige Ansichten von jedem, codiere beide, projiziere sie mit einem kleinen Kopf und minimiere InfoNCE. Die Augmentierungen legen die Aufgabe fest: Was sich zwischen zwei Ansichten eines Fotos unterscheidet (Lage des Ausschnitts, Spiegelbild, Helligkeit, Sättigung), lernt das Netz zu ignorieren. Was gleich bleibt (das Objekt), lernt es zu behalten.
Echte SimCLR-Läufe benutzen Tausende Schritte und große Batches. Hier lässt du einen kurzen live laufen (Breite 8, Batch 32, 80 Schritte), um den Verlust fallen zu sehen, und liest dann die aufgezeichneten langen Läufe des Kurses (Breite 32, 2500 Schritte mit 128).
Die aufgezeichneten Läufe enthalten zwei Varianten desselben Rezepts: eine zufällige Farbtondrehung der Ansichten (das SimCLR-Paper fand starke Farbänderungen bei seinen Fotos unverzichtbar) und eine höhere Temperatur (0.5).
Wo das Feld heute steht SimCLR braucht viele Negative (andere Fotos im Batch), also trainiert es am besten mit sehr großen Batches (das Paper benutzte 4.096). Spätere Methoden verzichten auf die Negative: BYOL (2020) und DINO (2021) trainieren ein Netz, einer langsam aktualisierten Kopie seiner selbst zu entsprechen, und MAE (2021) versteckt drei Viertel der Bildstücke eines Bildes und baut sie wieder auf, die Bildversion des Lückentexts aus diesem Modul. Für Text gibt es dieselbe Aufteilung: maskierte Vorhersage (BERT) und Vorhersage des nächsten Tokens (GPT).
Wörter und Symbole in dieser Lektion
- maskierte Vorhersage
- einen Teil der Eingabe verstecken und das Netz trainieren, ihn auszufüllen
- Ansicht
- eine zufällig veränderte Kopie eines Bildes: zugeschnitten, gespiegelt, heller, weniger bunt
- Augmentierung
- die zufällige Änderung, die eine Ansicht erzeugt; sie entscheidet, was das Netz zu ignorieren lernt
- InfoNCE
- Kreuzentropie auf eine Frage, die sich der Batch selbst stellt: Welche andere Ansicht kam vom selben Bild?
- Temperatur
- wodurch Ähnlichkeiten vor dem Softmax geteilt werden; kleiner macht die Wahl schärfer
- SimCLR
- selbstüberwachtes Training mit zwei Ansichten jedes Bildes und InfoNCE (Chen et al. 2020)
Führe das Live-Pretraining aus und fülle live mit dem mittleren loss über die ersten 10 und die letzten 10 steps. Fülle dann report aus den aufgezeichneten runs: die probe accuracy (originale Objekte) für raw pixels, den random encoder, SimCLR, SimCLR mit hue rotation und supervised, plus gap, wie weit SimCLR hinter supervised liegt, als Bruch (0.05 bedeutet 5 Punkte). Setze schließlich hue_helped auf True oder False.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.