Programma Les 239 van 246 · Module 23: Capstone studio: een model kaart die je kunt draaien
Module 23: Capstone studio: een model kaart die je kunt draaien

Zoek en herstel de geplante bug

Waarom dit ertoe doetDe ergste bugs in machine learning crashen niet. Ze trainen een beetje slechter dan ze zouden moeten en niemand merkt het op. Een gradient check vindt ze in seconden.

A collega herschreef de gradient code van de studio om het sneller te maken: suspect_grads. Je krijgt het niet gelezen, zoals vaak in echt werk (een library, de branch van een teamgenoot, gegenereerde code). Getraind ermee leert je basislijn nog steeds: op het standaardplan van de cursus is de taalscore slechts ongeveer 0.05 slechter, en op afbeeldingen, met seed 0, scoort het zelfs hoger. Beide zitten binnen wat een onvoorzichtige lezer ruis noemt. Iets in het is fout.

Controleer het zoals Module 3 leerde: verander één gewicht met een kleine hoeveelheid, meet de verandering in de loss, en vergelijk dit met de helling die de code claimt. Doe dit voor 5 items van elk van W1, b1, W2 en b2 op een klein model (breedte 8, een batch van 16), gekozen uit de items waarvan de geclaimde helling niet nul is (met one-hot inputs zijn de meeste hellingen van W1 precies 0, en een controle daar bewijst niets). Meet de loss in float64 met studio.loss64 en een verandering van 1e-4; noem een relatieve fout boven 0.01 fout.

Woorden en symbolen in deze les
baseline
de simpele run waartegen elke verandering wordt gemeten, over dezelfde seeds
gradient check
vergelijk de helling die je code berekent met de helling die gemeten wordt door een gewicht te verschuiven
Jij bent aan de beurt

Schrijf check(grad_fn) terug, voor elk van 'W1', 'b1', 'W2', 'b2', de grootste relatieve fout over 5 items. Zet wrong op de gesorteerde namen waarvan de fout boven 0.01 ligt, en cause op één zin: wat in de backward pass zit waar de verkeerde gradiënten staan, en wat is daar waarschijnlijk gedropt. Schrijf dan fixed_grads zelf (de forward pass is m.forward; de loss en de helling zijn studio.loss_and_dout). Train daarna je baseline (seed 0) met elk en print beide scores.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.