Wat een model leerde over letters
Waarom dit ertoe doetNiemand vertelt een taalmodel dat a en e beide klinkers zijn. Als de embeddings ze toch dicht bij elkaar plaatsen, heeft het model dit uit de tekst alleen ontdekt. Dit is de eerste blik op "betekenis" geleerd uit data.
Om twee embeddings te vergelijken, gebruik je cosine similarity: het dot product gedeeld door beide lengtes. Het is 1 wanneer twee vectoren in dezelfde richting wijzen, 0 wanneer ze niet gerelateerd zijn (haaks op elkaar), en min 1 wanneer ze in tegenovergestelde richtingen wijzen. Het negeert de lengte, wat meestal weerspiegelt hoe vaak een symbool voorkomt.
Je kijkt naar binnen in de opgenomen kleine GPT van de cursus (Module 13 bouwt deze). Het las alleen de lestekst van deze cursus, één teken tegelijk, met elk teken als een rij van 64 getallen.
Voorspel eerst: welke groep van tekenparen zal gemiddeld het meest vergelijkbaar zijn: twee klinkers, een klinker en een medeklinker, of twee cijfers?
Woorden en symbolen in deze les
- embedding
- de rij van geleerde getallen die staat voor één symbool
- cosine similarity
- dot product over beide lengtes: 1 dezelfde richting, 0 ongerelateerd, -1 tegenovergesteld
Zet my_prediction naar "vowels", "mixed" of "digits". Schrijf cosine(a, b) en nearest(ch, k) (de andere Z characters met de hoogste cosine naar ch, het beste eerst). Vul daarna group met de gemiddelde cosine over alle paren van verschillende karakters binnen elke groep.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.