Kyk: Hoe Teks Nommers Word
Voordat 'n LLM enigiets met jou prompt kan doen, moet dit jou teks in getalle verander, want 'n neurale netwerk doen net wiskunde op getalle. Die stap wat dit doen is tokenization.
Druk speel. Kyk hoe 'n enkele woord in tokens (gereelde stukke teks, dikwels subwoorde, nie hele woorde nie) verdeel word, en kyk hoe elke token 'n integer id van die model se vocabulary word. Nadat dit gebeur, sien die model nooit weer letters nie, net 'n lys van ids.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.