Een lees, een skryf: die knelpunt
Waarom dit saak maak Vertaling het voorheen so gewerk: een RNN lees die sin in 'n enkele vektor, 'n ander een skryf die uitset daaruit. Daardie een vektor is 'n bottenek, en om te sien hoe dit faal is die rede waarom attention uitgevind is.
An encoder-decoder: die encoder RNN lees die input; sy finale hidden state word aan die decoder RNN gegee, wat die output een simbool teen 'n slag skryf en elke antwoord terugvoer. Alles wat die decoder van die input weet moet deur daardie een vektor van 48 nommers pas.
Die opgetekende eksperiment seq2seq-bottleneck het sulke netwerke opgelei om 'n reeks syfers agterstevoor te skryf, vir lengtes 4, 8, 12 en 16, twee sade elk. Dit het ook 'n weergawe met attention opgelei, wat jy in Module 13 sal ontmoet. Kyk nou net na die eenvoudige een.
Voorspel die kurwe: voorspel die digit accuracy van die plain model by lengte 16. Kans is 10%.
Woorde en simbole in hierdie les
- herhalende netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte status vorentoe dra
- kodelaar-ontdekker
- one RNN lees die input in 'n vektor, 'n ander een skryf die output daaruit
- bottleneck
- die enkele vektor waarby alles deur moet druk
Stel my_guess_16 in, en vul dan plain_acc in: lengte tot die gemiddelde syfer-akkuratese van die twee gewone loopies.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.