Lehrplan Lektion 239 von 246 · Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst
Modul 23: Capstone Studio: eine Model Card, die du ausführen kannst

Finde und behebe den platzierten Bug

Warum das wichtig istDie schlimmsten Bugs im Machine Learning stürzen nicht ab. Sie trainieren ein bisschen schlechter als sie sollten, und niemand bemerkt es. Ein Gradient Check findet sie in Sekunden.

A Kollege hat den Gradienten-Code des Studios umgeschrieben, um ihn schneller zu machen: suspect_grads. Du darfst ihn nicht lesen, wie oft in der echten Arbeit (eine Bibliothek, der Branch eines Teammitglieds, generierter Code). Mit ihm trainiert, lernt dein Referenzwert immer noch: im Standardplan des Kurses ist der Sprachscore nur um etwa 0.05 schlechter, und bei Bildern mit Seed 0 erzielt er sogar einen höheren Score. Beide liegen innerhalb dessen, was ein unvorsichtiger Leser Rauschen nennt. Etwas darin ist falsch.

Überprüfe es so, wie Modul 3 es gelehrt hat: ändere ein Gewicht um einen kleinen Betrag, miss die Änderung des loss und vergleiche sie mit der Steigung, die der Code behauptet. Tue dies für 5 Einträge von jedem von W1, b1, W2 und b2 auf einem kleinen Modell (width 8, a batch of 16), ausgewählt aus den Einträgen, deren behauptete Steigung nicht null ist (mit one-hot inputs sind die meisten Steigungen von W1 genau 0, und eine Prüfung dort beweist nichts). Miss den loss in float64 mit studio.loss64 und einem Nudge von 1e-4; nenne einen relativen Fehler über 0.01 falsch.

Wörter und Symbole in dieser Lektion
baseline
der einfache Durchlauf, gegen den jede Änderung gemessen wird, über dieselben Seeds
gradient check
Vergleich der Steigung, die dein Code berechnet, mit der Steigung, die durch das Verschieben eines Gewichts gemessen wird
Du bist dran

Schreibe check(grad_fn) zurück, für jedes von 'W1', 'b1', 'W2', 'b2', den größten relativen Fehler über 5 Einträge. Setze wrong auf die sortierten Namen, deren Fehler über 0.01 liegt, und cause auf einen Satz: was im backward pass dort sitzt, wo die falschen gradienten sind, und was dort wahrscheinlich verloren ging. Dann schreibe fixed_grads selbst (der forward pass ist m.forward; der loss und seine slope sind studio.loss_and_dout). Trainiere dann deine baseline (seed 0) mit jedem und drucke beide scores aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.