Kurrikulum Leson 126 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

'n Karakter RNN

Waarom dit saak maak Om die volgende karakter uit die vorige een te voorspel is die oorspronklike taalmodel. Dieselfde idee, op grootskaal, is 'n chatbot.

Voer die kursus se eie lesstekst een karakter teen 'n slag in. By elke stap opdateer die RNN sy state en voorspel die volgende karakter met 'n linear layer en softmax. Die loss is die gemiddelde cross-entropy oor die 16 posisies van elke training snippet.

Elke karakter gaan in as 'n embedding: 'n geleerde ry getalle wat deur die karakter se indeks opgesoek word (Module 12 verduidelik hulle behoorlik; vir nou, 'n lookup table wat die netwerk aanleer).

Voorspel die kurwe met die grafiek: raai die verlies by stap 0 en na 200 stappe. 'n Uniforme raai oor al die karakters in die teks gee ongeveer ln(V).

Woorde en simbole in hierdie les
recurrent netwerk (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte toestand vorentoe dra
entropy
hoe verbroodig 'n verdeling is: 0 wanneer seker, ln(n) wanneer alle n keuses gelyk is
Jou beurt

Vul my_guess in. Skryf dan step_state(x_ids, h, P) met die kursus se enjin: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). Die opleidingslus daaromheen is vir jou geskryf. Ná 200 stappe moet die gemiddelde verlies oor die laaste 20 stappe onder 2.6 wees.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.