Bekijk: Attention Weights
Je hebt zojuist scaled dot-product attention geïmplementeerd. Dit is wat die matrices echt doen. Attention laat elk woord naar elk woord in de zin kijken (inclusief zichzelf), scoort hoeveel elk woord ertoe doet, en bouwt zichzelf opnieuw als een weighted blend van die woorden.
Druk op play. Kijk hoe het woord sat over the cat sat gaat: de ruwe scores worden softmax weights die samen 1 vormen, de dikste lijn wijst naar het woord dat het meest telt, en sat absorbeert de context, vooral van cat.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.