'n Karakter RNN
Waarom dit saak maak Om die volgende karakter uit die vorige een te voorspel is die oorspronklike taalmodel. Dieselfde idee, op grootskaal, is 'n chatbot.
Voer die kursus se eie lesstekst een karakter teen 'n slag in. By elke stap opdateer die RNN sy state en voorspel die volgende karakter met 'n linear layer en softmax. Die loss is die gemiddelde cross-entropy oor die 16 posisies van elke training snippet.
Elke karakter gaan in as 'n embedding: 'n geleerde ry getalle wat deur die karakter se indeks opgesoek word (Module 12 verduidelik hulle behoorlik; vir nou, 'n lookup table wat die netwerk aanleer).
Voorspel die kurwe met die grafiek: raai die verlies by stap 0 en na 200 stappe. 'n Uniforme raai oor al die karakters in die teks gee ongeveer ln(V).
Woorde en simbole in hierdie les
- recurrent netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
- entropy
- hoe verbroodig 'n verdeling is: 0 wanneer seker, ln(n) wanneer alle n keuses gelyk is
Vul my_guess in. Skryf dan step_state(x_ids, h, P) met die kursus se enjin: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Die opleidingslus daaromheen is vir jou geskryf. Ná 200 stappe moet die gemiddelde verlies oor die laaste 20 stappe onder 2.6 wees.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.