Kurrikulum Leson 109 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Kyk: Hoe Teks Nommers Word

Voordat 'n LLM enigiets met jou prompt kan doen, moet dit jou teks in getalle verander, want 'n neurale netwerk doen net wiskunde op getalle. Die stap wat dit doen is tokenization.

Druk speel. Kyk hoe 'n enkele woord in tokens (gereelde stukke teks, dikwels subwoorde, nie hele woorde nie) verdeel word, en kyk hoe elke token 'n integer id van die model se vocabulary word. Nadat dit gebeur, sien die model nooit weer letters nie, net 'n lys van ids.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.