Che cos'è un LLM?
Un large language model (LLM) come quelli dietro gli assistenti di chat è, in fondo, un gigantesco predittore del token successivo. Pochi termini fanno capire tutto.
- Token. Il testo viene tagliato in pezzi chiamati token, più o meno parole o frammenti di parole. Il modello legge e scrive token, non caratteri grezzi. Una regola approssimativa: un token sono circa quattro caratteri di inglese.
- Previsione. Dati i token fin qui, il modello dà una probabilità per ogni possibile token successivo. Ne sceglie uno, lo aggiunge, e ripete. Quel ciclo è il modo in cui scrive paragrafi interi.
- Prompt. Il testo che gli dai. Tutto ciò che il modello sa della tua richiesta vive nel prompt, quindi il modo in cui lo formuli conta molto (prossime lezioni).
- Temperatura. Una manopola sulla casualità di quella scelta. Vicino a
0il modello prende quasi sempre il token più probabile (concentrato, ripetitivo). Valori più alti gli permettono di estrarre token meno probabili (più creativo, meno affidabile). I modelli locali, come quello del progetto finale di questo corso, accettano ancora questa manopola. I modelli Claude ospitati più recenti no: impostano da soli il campionamento e rispondono con un errore a un'impostazione di temperatura, quindi lì guidi l'uscita attraverso il prompt. - Allucinazione. Dato che prevede testo plausibile invece di andare a cercare i fatti, un LLM può affermare cose sbagliate con totale sicurezza. Verifica sempre i fatti che ti dà.
I tokenizer veri lavorano per sottoparole e sono appresi dai dati. Qui non ne costruiremo uno, ma possiamo costruire il tokenizer più semplice possibile (dividere sugli spazi) per sentire che cosa vuol dire contare i token. È con il numero di token che si misurano l'uso e i limiti.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']Dividere sugli spazi è solo un sostituto per farsi un'idea. I tokenizer veri dividono in pezzi di sottoparole, quindi una regola pratica comune per il budget è tokens ≈ len(text) / 4 caratteri, e il codice di produzione legge il conteggio esatto dal campo usage che l'API restituisce (o da un endpoint dedicato al conteggio dei token) invece di tirare a indovinare.
Modelli di ragionamento
Tutto quanto sopra descrive un modello che dà direttamente la sua risposta. Una famiglia più recente, i modelli di ragionamento, spende prima un budget nascosto di token di "pensiero" lavorando sul problema passo dopo passo, poi scrive la risposta finale. Quella riflessione in più compra vera precisione sui compiti difficili e a più passi (matematica, codice, pianificazione attenta), e spesso hai una manopola: uno sforzo o un budget di pensiero più alto significa più token di pensiero, più latenza e più costo. Il giudizio ingegneristico è semplicemente quando ne vale la pena: usa un modello di ragionamento sul passo davvero difficile, e un modello veloce ed economico per quelli di routine. Metterai al lavoro esattamente questo compromesso più avanti quando costruirai una cascata attenta ai costi che manda le richieste facili al modello economico e fa salire di livello solo quelle difficili.
Scrivi un semplice tokenizer sugli spazi. tokenize(text) restituisce la lista dei token separati da spazi (usa .split()). count_tokens(text) restituisce quanti sono. Poi assegna tokens = tokenize(sample) e n_tokens = count_tokens(sample).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.