Kurrikulum Leson 108 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Kyk: Aandaggewigte

Jy het pas scaled dot-product attention geïmplementeer. Hier is wat daardie matrices werklik do. Attention laat elke woord na elke woord in die sin kyk (insluitend homself), tel hoeveel elke een saak maak, en bou homself oor as 'n weighted blend van hulle.

Druk speel. Kyk hoe sat aandag gee oor the cat sat: die rou tellinge word softmax gewigte wat tot 1 optel, die dikste lyn wys na die woord wat die meeste saak maak, en sat absorbeer sy konteks, meestal vanaf cat.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.