Finde und behebe den platzierten Bug
Warum das wichtig istDie schlimmsten Bugs im Machine Learning stürzen nicht ab. Sie trainieren ein bisschen schlechter als sie sollten, und niemand bemerkt es. Ein Gradient Check findet sie in Sekunden.
A Kollege hat den Gradienten-Code des Studios umgeschrieben, um ihn schneller zu machen: suspect_grads. Du darfst ihn nicht lesen, wie oft in der echten Arbeit (eine Bibliothek, der Branch eines Teammitglieds, generierter Code). Mit ihm trainiert, lernt dein Referenzwert immer noch: im Standardplan des Kurses ist der Sprachscore nur um etwa 0.05 schlechter, und bei Bildern mit Seed 0 erzielt er sogar einen höheren Score. Beide liegen innerhalb dessen, was ein unvorsichtiger Leser Rauschen nennt. Etwas darin ist falsch.
Überprüfe es so, wie Modul 3 es gelehrt hat: ändere ein Gewicht um einen kleinen Betrag, miss die Änderung des loss und vergleiche sie mit der Steigung, die der Code behauptet. Tue dies für 5 Einträge von jedem von W1, b1, W2 und b2 auf einem kleinen Modell (width 8, a batch of 16), ausgewählt aus den Einträgen, deren behauptete Steigung nicht null ist (mit one-hot inputs sind die meisten Steigungen von W1 genau 0, und eine Prüfung dort beweist nichts). Miss den loss in float64 mit studio.loss64 und einem Nudge von 1e-4; nenne einen relativen Fehler über 0.01 falsch.
Wörter und Symbole in dieser Lektion
- baseline
- der einfache Durchlauf, gegen den jede Änderung gemessen wird, über dieselben Seeds
- gradient check
- Vergleich der Steigung, die dein Code berechnet, mit der Steigung, die durch das Verschieben eines Gewichts gemessen wird
Schreibe check(grad_fn) zurück, für jedes von 'W1', 'b1', 'W2', 'b2', den größten relativen Fehler über 5 Einträge. Setze wrong auf die sortierten Namen, deren Fehler über 0.01 liegt, und cause auf einen Satz: was im backward pass dort sitzt, wo die falschen gradienten sind, und was dort wahrscheinlich verloren ging. Dann schreibe fixed_grads selbst (der forward pass ist m.forward; der loss und seine slope sind studio.loss_and_dout). Trainiere dann deine baseline (seed 0) mit jedem und drucke beide scores aus.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.