Kurrikulum Leson 60 van 246 · Module 4: Jou eie autograd-enjin
Module 4: Jou eie autograd-enjin

Rig die checker na jou engine

Waarom dit saak maak 'n enjin met een verkeerde reël sal traýn, stadig en sleg, en jy sal dalk nooit weet nie. Van nou af word elke nuwe operasie nagekeer voordat dit gebruik word.

Jou Module 3-kontrole het NumPy-arrays aangeraak. Hier moet jy 'n Tensor se data op die plek skuif, die berekening herbou, en vergelyk met wat backward in .grad gelaat het.

Die resep: (1) bou die output en roep backward() een keer om die enjin se gradiënte te kry. (2) Vir elke input en elke inskrywing, skuif data op en af, bou dit weer op, en lees die output se waarde af. (3) Rapporteer die grootste relatiewe fout.

Opsomming Vertrou nooit 'n nuwe terugwaartse reël voordat dit 'n kontrole geslaag het nie.

Woorde en simbole in hierdie les
Tensor
hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
.grad
die gradiënt van die finale loss met verwysing na hierdie Tensor
unbroadcast
som die gradiënt terug na die vorm waaruit dit gestrek is
Jou beurt

Skryf engine_check(build, inputs): build() gee 'n skêr Tensor wat bereken word vanaf die Tensors in die lys inputs. Gee die grootste relatiewe fout tussen die enjin se gradiënte en die nuus gelynde een terug. Stel elke inset se grad terug na nulle voor jy backward aanroep. Die verborge toets plant drie foute in die enjin, een na die ander; jou kontroleerder moet bo 1e-3 vir elk rapporteer, en onder 1e-6 vir die korrekte enjin.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.