Kurrikulum Leson 164 van 246 · Module 14: Lopie-kliniek II
Module 14: Lopie-kliniek II

Vertrou die helper? Volgorde-uitleg

Waarom dit saak maak Dieselfde vaardigheid as Module 8, moeiliker foute: verskeie van hierdie lyk dieselfde as jy net na die loss curve kyk, so 'n helper wat net kurwes lees, kry hulle verkeerd met volle vertroue.

'n AI-helper het 'n fout vir elk van die agt gebreekte runs benoem. Sommige aansprake is verkeerd. Let op vir pare wat 'n simptoom deel: twee foute kan albei die training loss verdagtig laag maak, en twee kan albei veroorsaak dat dit stank.

ProbeWat dit vir jou vertelGesonde hardloop
loss_curve(c)Trainingsverlies elke 25 stappe, en die verlies op ongesiene teks aan die einde. Kyk altyd eerste.4.55 af tot ongeveer 2.9; onsigbaar by ongeveer 3.0
loss_at_init(c)Verlies voor opleiding. 'n Vars model wat gelyk oor 95 karakters raai, gee ln(95).4.55
leak_check(c)Kan 'n latere karakter 'n vroeëre voorspelling verander?Vals
show_batch(c)Een opleidingsinput en sy teiken, as teks.target = input skuif een karakter links
update_ratio(c)Na die eerste Adam-stap, hoe ver het gewigte beweeg relatief tot hul grootte. Nie Module 8 se reël nie: daardie 0.001 tot 0.1 reeks is vir gewone SGD-stappe. Adam se eerste stap skuif elke gewig met ongeveer die learning rate ongeag sy gradient, en hierdie gewigte begin naby 0.02, so 0.01 / 0.02 gee ongeveer 0.5. Vergelyk 'n geval met hierdie gesonde loop, nie met Module 8 se reeks nie.ongeveer 0.5
block_change(c)Hoeveel die eerste blok elke vektor aan die begin verander.ongeveer 0.3
Woorde en simbole in hierdie les
ln(V)
die beginverlies van 'n model wat gelykverdelig oor V simbole raai: 4.55 vir 95 karakters
blok verander
hoeveel een blok 'n vektor aan die begin verander; naby 1 beteken dit het dit vervang
Jou beurt

Vir elke geval A tot H, stel verdicts[case] in op True (die helper is reg) of False. Jy moet ten minste 7 van 8 reg kry.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.