Kyk: Aandaggewigte
Jy het pas scaled dot-product attention geïmplementeer. Hier is wat daardie matrices werklik do. Attention laat elke woord na elke woord in die sin kyk (insluitend homself), tel hoeveel elke een saak maak, en bou homself oor as 'n weighted blend van hulle.
Druk speel. Kyk hoe sat aandag gee oor the cat sat: die rou tellinge word softmax gewigte wat tot 1 optel, die dikste lyn wys na die woord wat die meeste saak maak, en sat absorbeer sy konteks, meestal vanaf cat.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.