'n Klein CNN op syfers
Waarom dit saak maak Dit is LeNet se idee uit 1998: convolution, pooling, convolution, pooling, dan 'n classifier. Bou dit met die house layers wat jy verdien het en sien hoe dit die MLP op verskuifde syfers verslaan.
Die huisbiblioteek nnsim.engine het die lae wat jy gebou het: conv (3 by 3, dieselfde padding), relu, pool2 (2 by 2 gemiddelde), gap (globale gemiddelde pooling), matmul, cross_entropy en Adam. 'n conv gewig vir 3 by 3 filters van C_in tot C_out kanale het vorm (9 * C_in, C_out).
Die huisbiblioteek, in een kaart (hou dit byderhand vir die res van die kursus; print(E.GUIDE) wys dit weer in enige les)
E.T(array)verpak getalle as 'n tensor..datais die array (float32);.gradisNonetotdatbackward()dit bereik.loss.backward()vul.gradop elke tensor waar die loss van afhanklik.opt = E.Adam(params, lr)neem 'n lys van tensors.opt.step()opdateer elke een wat 'n gradient het en stel dan sy.gradterug naNone, sodat jy nooit self gradients nul stel nie.- Beelde is channels last: (batch, rows, columns, channels).
E.conv(x, w)hou die grootte (same padding) en verander C kanale na F metwvan vorm (9 * C, F).E.pool2halveer rye en kolomme;E.gapgemiddeldelik hulle weg, wat (batch, channels) gee. E.cross_entropy(logits, y): logits (batch, classes) as 'n tensor, y 'n gewone integer-array. Dit gee 'n tensor wat een getal hou terug;float(loss.data)lees dit.- 'n hele opleidingsstap is drie reëls:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Geregistreerde runs:
print(R.experiment(name))lys sy instellings en die name van sy metrieke;run = exp.run(setting=value, ...), danrun.loss(paaie van step en loss),run.metrics('n dictionary) enrun.final_loss.
Voorspel die kurwe met die grafiek: raai die training loss na epoch 1 en na epoch 8 (die laaste).
Woorde en simbole in hierdie les
- convolution
- skuif 'n klein rooster van gewigte ( 'n filter) oor 'n beeld, een dot product per posisie
- filter, kenmerkkaart
- die klein geleerde rooster van gewigte; en die beeld van sy reaksies
- padding (p), stride (s)
- zeros by die rand gevoeg; hoeveel pixels die filter elke stap beweeg
- pooling
- verklein 'n kaart deur die maksimum of gemiddelde van elke blok te behou
- OPGENAAM
- 'n regte hardloop van die kursus is een keer opgelei en gestuur vir jou om te bestudeer
Vul my_guess, skryf dan train(epochs, seed) wat 'n funksie predict(X) teruggee. Gebruik conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, en dan 'n linear layer na 10 classes. Bereik ten minste 90% op die test digits, en ten minste 60% op test digits wat met 2 pixels verskuif is (waar die MLP ongeveer 21% geskop het). Die verskuifde telling skuif baie van seed tot seed (die kursus se eie antwoord kry 0.76 tot 0.89 oor vyf seeds), so die drempel is ver onder dit. Adam teen 'n learning rate van ongeveer 1e-2 werk hier. Met 3e-3 leer hierdie klein netwerk te stadig vir die les.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.