Wähle deinen Partner aus dem Batch aus (InfoNCE)
Warum das wichtig istDas gesamte Trainingssignal von SimCLR ist ein loss, und du weißt es bereits: es ist cross-entropy, bei einer Multiple-Choice-Frage, die das Netzwerk selbst setzt.
Nimm eine Charge von n Fotos und erstelle zwei zufällige Ansichten von jedem (ausschneiden, spiegeln, Helligkeit und Farbe ändern). Das ergibt 2n Ansichten. Für jede Ansicht lautet die Frage: welche der anderen 2n - 1 Ansichten stammt aus demselben Foto?Genau eine tat es.
- Kodiere jede Ansicht zu einem kurzen Vektor z und skaliere jedes z auf die Länge 1.
- Ähnlichkeit von zwei Ansichten = ihr Skalarprodukt (der Kosinus), geteilt durch eine temperatur (0.2 hier): kleine Temperaturen machen die Scores schärfer.
- A Ansicht darf sich selbst nicht auswählen: ihr eigener Score wird auf minus unendlich gesetzt.
- Cross-entropy, wobei die richtige Antwort der Partner ist: Partner von i ist i + n (und umgekehrt).
Schau dir die Szene an: sechs Fotos, zwei Ansichten jedes, das Gitter der Ähnlichkeiten und die Wahl jeder Zeile.
Kleine Zahlen
Zwei Fotos, also vier Ansichten. Wenn die Ähnlichkeiten von Ansicht 0 zu den Ansichten 1, 2, 3 0.1, 0.9, 0.2 sind (sein Partner ist Ansicht 2), werden sie durch 0.2 zu 0.5, 4.5, 1.0. Softmax gibt dem Partner 0.954, und der loss von Ansicht 0 ist -log 0.954 = 0.047.
Wörter und Symbole in dieser Lektion
- view
- eine zufällig geänderte Kopie eines Bildes: beschnitten, gespiegelt, heller, weniger farbig
- InfoNCE
- cross-entropy auf einer Frage, die der batch selbst setzt: welche andere Ansicht kam aus demselben Bild?
- temperature
- welche Ähnlichkeiten werden vor dem softmax geteilt; kleiner macht die Wahl schärfer
- SimCLR
- selbstüberwachtes Training mit zwei Ansichten jedes Bildes und InfoNCE (Chen et al. 2020)
Schreibe info_nce(z, temperature) in einfachem NumPy für z mit der Form (2n, d) und gib den mittleren Verlust über alle 2n Zeilen zurück. Berechne dann example: den Verlust für den vier-Ansichten-Batch im Starter.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.