Lehrplan Lektion 59 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Softmax und Cross-Entropy in einem Schritt

Warum das wichtig ist Du könntest softmax aus exp, sum und divide bauen, aber das Ergebnis ist langsamer und kann überlaufen. Jede echte Bibliothek führt softmax und cross-entropy zu einer Operation mit dem einfachen Gradienten zusammen, den du in Module 3 abgeleitet hast.

A fused operation berechnet seinen Forward in einem Schritt (mit dem max-shift zur Sicherheit) und hat eine Backward Regel: (softmax - onehot) / n, mal den ankommenden gradient. Du brauchst auch relu für ein network: passe den gradient dort durch, wo der input positiv war.

Zusammenfassung Führe das zusammen, was du kannst; der kombinierte Gradient ist einfacher als seine Teile.

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Schreibe relu und cross_entropy(labels) (auf einem (batch, classes) Tensor von logits, wobei ein skalarer Tensor zurückgegeben wird) mit ihren backward Regeln.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.