Programma Les 110 van 250 · Neural-Net Intuition, LLMs & AI Capstone
Neural-Net Intuition, LLMs & AI Capstone

Wat is een LLM?

A large language model (LLM) zoals die achter chat assistenten is in de kern een gigantische next-token predictor. Een paar termen laten het geheel klikken.

  • Tokens. Tekst wordt gehakt in stukken die tokens worden genoemd, ongeveer woorden of woordfragmenten. Het model leest en schrijft tokens, geen ruwe karakters. Een grove regel: één token is ongeveer vier karakters van Engels.
  • Prediction. Gezien de tokens tot nu toe, geeft het model een waarschijnlijkheid voor elke mogelijke volgende token. Het kiest er een, voegt het toe en herhaalt dit. Die lus is hoe het hele paragrafen schrijft.
  • Prompt. De tekst die je invoert. Alles wat het model weet over je verzoek staat in de prompt, dus hoe je het formuleert is erg belangrijk (volgende lessen).
  • Temperature. Een knop voor de willekeur van die keuze. Bijna 0 neemt het model bijna altijd het meest waarschijnlijke token (gefocusseerd, herhalend). Hogere waarden laten het minder waarschijnlijke tokens kiezen (creatiever, minder betrouwbaar). Lokale modellen, zoals het model in de capstone van deze cursus, gebruiken nog steeds deze knop. De nieuwste gehoste Claude modellen doen dat niet: ze stellen hun eigen sampling in en beantwoorden een temperature instelling met een fout, dus daar stuur je de output aan via de prompt.
  • Hallucination. Omdat het plausibele tekst voorspelt in plaats van feiten op te zoeken, kan een LLM dingen met volledige zekerheid fout vertellen. Verifieer altijd de feiten die het je geeft.

Echte tokenizers zijn gebaseerd op subwoorden en zijn geleerd uit data. We gaan die hier niet bouwen, maar we kunnen de eenvoudigst mogelijke tokenizer bouwen (splitsen op witruimte) om te voelen hoe het is om tokens te tellen. Tokenaantallen zijn hoe gebruik en limieten worden gemeten.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Splitsen op witruimte is alleen een tijdelijke oplossing. Echte tokenizers splitsen in subwoordstukken, dus een veelgebruikte vuistregel voor het Budget is tokens ≈ len(text) / 4 karakters, en productiecode leest het exacte aantal uit het usage veld dat de API teruggeeft (of een speciale count-tokens endpoint) in plaats van te gokken.

Redeneringsmodellen

Alles hierboven beschrijft een model dat zijn antwoord direct geeft. Een nieuwere familie, reasoning modellen, besteedt eerst een verborgen Budget aan "denk" tokens om het probleem stap voor stap uit te werken, en schrijft dan het uiteindelijke antwoord. Die extra overdenking zorgt voor echte nauwkeurigheid bij moeilijke, meerstaps taken (wiskunde, code, zorgvuldige planning), en je krijgt vaak een knop: een hoger inspanningsniveau of denk Budget betekent meer denk tokens, meer latentie en meer kosten. Het technische oordeel is simpelweg wanneer het het waard is: kies een reasoning model voor de echt moeilijke stap, en gebruik een snel, goedkoop model voor de routine taken. Je zult precies die afweging inzetten later wanneer je een kostenbewuste cascade bouwt die eenvoudige verzoeken naar het goedkope model stuurt en alleen de moeilijke verzoeken opschaalt.

Jij bent aan de beurt

Schrijf een simpele whitespace tokenizer. tokenize(text) geeft de lijst met whitespace-gescheiden tokens terug (gebruik .split()). count_tokens(text) geeft terug hoeveel er zijn. Stel daarna tokens = tokenize(sample) en n_tokens = count_tokens(sample) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.