Kurrikulum Leson 110 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Wat is 'n LLM?

A large language model (LLM) soos die eenes agter gesprek-assistente is, in die kern, 'n reuse volgende-token-voorspeller. 'n Paar terme laat die hele ding klik.

  • Tokens. Teks word in stukke opgeskeep wat tokens genoem word, ongeveer woorde of woordfragmente. Die model lees en skryf tokens, nie rou karakters nie. 'n Basiese reël: een token is ongeveer vier karakters van Engels.
  • Prediction. Gegee die tokens tot nou toe, gee die model 'n waarskynlikheid vir elke moontlike volgende token. Dit kies een, voeg dit by, en herhaal dit. Daardie loop is hoe dit hele paragrawe skryf.
  • Prompt. Die teks wat jy invoer. Alles wat die model oor jou versoek weet, is in die prompt, so hoe jy dit formuleer, maak baie saak (volgende lesse).
  • Temperature. 'n knop vir die willekeur van daardie keuse. By 0 neem die model amper altyd die meeswaarlike token (gefokus, herhalend). Hoër waardes laat dit minder waarlike tokens kies (meer kreatief, minder betroubaar). Plokkale modelle, soos die een in hierdie kursus se finale projek, gebruik nog hierdie knop. Die nuutste gehuisvese Claude modelle doen nie: hulle stel hul eie sampling en antwoord op 'n temperature instelling met 'n fout, so jy stuur die uitset deur die prompt.
  • Hallucination. Omdat dit waarskynlike teks voorspel in plaas daarvan om feite op te soek, kan 'n LLM verkeerde dinge met totale vertroue beweer. Verifieer altyd die feite wat dit vir jou gee.

Regte tokenizers is subwoord-gebaseeer en word uit data geleer. Ons gaan nie dit hier bou nie, maar ons kan die eenvoudigste moontlike tokenizer bou (spasies skei) om te voel hoe dit is om tokens te tel. Token tellings is hoe gebruik en limiete gemeet word.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Splits op witspasies is net 'n tydelike oplossing. Regte tokenizers splits in subwoordstukkies, so 'n algemene reël van die duim is tokens ≈ len(text) / 4 karakters, en produksiekode lees die presiese getal uit die usage veld wat die API teruggee (of 'n spesifieke count-tokens eindpunt) eerder as om te raai.

Redeneringsmodelle

Alles bo beskryf 'n model wat sy antwoord direk uitstoot. 'n Nuwer familie, reasoning models, spandeer eers 'n verborge begrooting van "thinking" tokens om die probleem stap-vir-stap deur te werk, en skryf dan die finale antwoord. Daardie ekstra oorweging koop werklike akkuraatheid op moeilike, multi-stap take (wiskunde, kode, deeglike beplanning), en jy kry dikwels 'n knop: 'n hoër inspanning of thinking begrooting beteken meer thinking tokens, meer latency, en meer koste. Die ingenieurswese-oordeel is eenvoudig wanneer dit die moeite werd is: kies 'n reasoning model vir die werklik moeilike stap, en gebruik 'n vinnige, goedkoop model vir die roetine take. Jy sal presies daardie afweging later gebruik wanneer jy 'n cost-aware cascade bou wat maklike versoeke na die goedkoop model roeer en slegs die moeilike een eskaleer.

Jou beurt

Skryf 'n eenvoudige whitespace tokenizer. tokenize(text) gee die lys van whitespace-geskei tokens terug (gebruik .split()). count_tokens(text) gee terug hoeveel daar is. Stel dan tokens = tokenize(sample) en n_tokens = count_tokens(sample) aan.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.