Qu'est-ce qu'un LLM ?
Un grand modèle de langage (LLM), comme ceux derrière les assistants de discussion, est au fond un gigantesque prédicteur du prochain token. Quelques termes suffisent pour que tout s'éclaire.
- Tokens. Le texte est découpé en morceaux appelés tokens, à peu près des mots ou des bouts de mots. Le modèle lit et écrit des tokens, pas des caractères bruts. Règle approximative : un token fait environ quatre caractères d'anglais.
- Prédiction. À partir des tokens déjà là, le modèle sort une probabilité pour chaque prochain token possible. Il en choisit un, l'ajoute, et recommence. C'est avec cette boucle qu'il écrit des paragraphes entiers.
- Prompt. Le texte que tu donnes en entrée. Tout ce que le modèle sait de ta demande se trouve dans le prompt, donc la façon de le formuler compte beaucoup (leçons suivantes).
- Température. Un bouton qui règle le hasard de ce choix. Proche de
0, le modèle prend presque toujours le token le plus probable (concentré, répétitif). Des valeurs plus hautes le laissent tirer des tokens moins probables (plus créatif, moins fiable). Les modèles locaux, comme celui du projet final de ce cours, acceptent encore ce bouton. Les modèles Claude hébergés les plus récents non : ils règlent eux-mêmes leur échantillonnage et répondent par une erreur à un réglage de température, donc là tu guides la sortie par le prompt. - Hallucination. Comme il prédit du texte plausible au lieu de chercher des faits, un LLM peut affirmer des choses fausses avec une assurance totale. Vérifie toujours les faits qu'il te donne.
Les vrais tokenizers fonctionnent par sous-mots et sont appris à partir des données. On ne va pas construire ça ici, mais on peut construire le tokenizer le plus simple possible (découper sur les espaces) pour sentir ce que compter des tokens veut dire. C'est en nombre de tokens qu'on mesure l'usage et les limites.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']Découper sur les espaces n'est qu'un substitut pour se faire une idée. Les vrais tokenizers découpent en sous-mots, donc une règle courante pour estimer un budget est tokens ≈ len(text) / 4 caractères, et le code de production lit le compte exact dans le champ usage que renvoie l'API (ou un endpoint dédié au comptage de tokens) au lieu de deviner.
Les modèles de raisonnement
Tout ce qui précède décrit un modèle qui donne sa réponse directement. Une famille plus récente, les modèles de raisonnement, dépense d'abord un budget caché de tokens de « réflexion » pour travailler le problème étape par étape, puis écrit la réponse finale. Cette délibération en plus achète une vraie précision sur les tâches difficiles en plusieurs étapes (maths, code, planification soignée), et tu as souvent un réglage : un effort ou un budget de réflexion plus haut veut dire plus de tokens de réflexion, plus de latence et plus de coût. Le jugement d'ingénieur consiste simplement à savoir quand ça vaut le coup : prends un modèle de raisonnement pour l'étape vraiment difficile, et un modèle rapide et bon marché pour les étapes de routine. Tu mettras exactement ce compromis en pratique plus tard en construisant une cascade attentive aux coûts qui envoie les demandes faciles au modèle bon marché et n'escalade que les difficiles.
Écris un tokenizer simple qui découpe sur les espaces. tokenize(text) renvoie la liste des tokens séparés par des espaces (utilise .split()). count_tokens(text) renvoie leur nombre. Puis écris tokens = tokenize(sample) et n_tokens = count_tokens(sample).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.