Wat 'n model oor letters geleer het
Waarom dit saak maakNiemand vertel vir 'n taalmodel dat a en e albei klinkers is nie. As sy embeddings hulle tog naby mekaar sit, het die model dit uit teks alleen ontdek. Dit is die eerste glimlag van "betekenis" wat uit data geleer is.
Om twee embeddings te vergelyk, gebruik cosine similarity: die stipproduk gedeel deur beide lengtes. Dit is 1 wanneer twee vektore in dieselfde rigting wys, 0 wanneer hulle onverwant is (teen regte hoeke), en minus 1 wanneer hulle in teenstrydige rigtings wys. Dit ignoreer lengte, wat meestal weerspieël hoe gereeld 'n simbool verskyn.
Jy gaan binne die kursus se opgeneemde klein GPT kyk (Module 13 bou dit). Dit het net hierdie kursus se lesstekst lees, een karakter teen 'n slag, met elke karakter as 'n ry van 64 nommers.
Voorspel eerste: watter groep karakterpare sal gemiddeld die meeste ooreenstem: twee vokale, 'n vokaal en 'n konsonant, of twee syfers?
Woorde en simbole in hierdie les
- embedding
- die ry van geleerde nommers wat vir een simbool staan
- cosinus-ooreëns
- dot produk oor beide lengtes: 1 dieselfde rigting, 0 onverwant, -1 teenoorgesteld
Stel my_prediction in op "vowels", "mixed" of "digits". Skryf cosine(a, b) en nearest(ch, k) (die k ander karakters met die hoogste cosine tot ch, beste eerste). Vul dan group met die gemiddelde cosine oor alle pare van verskillende karakters binne elke groep.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.