Een RNN voor karakters
Waarom dit ertoe doet Het voorspellen van het volgende karakter op basis van de voorgaande karakters is het oorspronkelijke taalmodel. Dezelfde gedachte, maar dan opgeschaald, is een chatbot.
Voer de lestekst van de cursus één karakter tegelijk in. Bij elke stap update de RNN zijn status en voorspelt het volgende karakter met een linear layer en softmax. De loss is de gemiddelde cross-entropy over de 16 posities van elk trainingsfragment.
Elk karakter gaat in als een embedding: een geleerde rij getallen die wordt opgezocht door de index van het karakter (Module 12 legt deze goed uit; voor nu een lookup table die het netwerk traint).
Roep Curve aan met de grafiek: schat de loss bij stap 0 en na 200 stappen. Een uniforme schatting over alle tekens in de tekst geeft ongeveer ln(V).
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status voorwaarts draagt
- entropy
- hoe verspreid een verdeling is: 0 wanneer zeker, ln(n) wanneer alle n keuzes gelijk zijn
Vul my_guess in. Schrijf daarna step_state(x_ids, h, P) met de house engine: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). De training loop eromheen is voor je geschreven. Na 200 stappen moet de gemiddelde loss over de laatste 20 stappen onder de 2.6 zijn.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.