Gate: een kapotte RNN met twee fouten (AI uit)
Waarom dit ertoe doetTwee fouten tegelijk vinden zonder hulp is waar de klinieken je voor hebben getraind.
AI tutor uit. Deze RNN-karakter heeft twee fouten. De ene zorgt ervoor dat de loss niet ver daalt, ook al blijft elke loss een eindig getal (niets explodeert). De andere betekent dat het netwerk nooit echt gebruikt wat het eerder in het snippet las. Vind en herstel beide.
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
- entropy
- hoe verspreid een verdeling is: 0 wanneer zeker, ln(n) wanneer alle n keuzes gelijk zijn
Fix init en run_snippet. Na 200 stappen moet de gemiddelde loss over de laatste 20 stappen onder 2.45 zijn, elke loss moet een eindig getal zijn, en het eerste karakter van een snippet moet nog steeds de laatste voorspelling beïnvloeden.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.