Programme Leçon 109 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

À voir : comment le texte devient des nombres

Avant qu'un LLM puisse faire quoi que ce soit avec ton prompt, il doit transformer ton texte en nombres, car un réseau de neurones ne calcule que sur des nombres. L'étape qui fait ça s'appelle la tokenisation.

Appuie sur lecture. Regarde un seul mot être découpé en tokens (des morceaux de texte fréquents, souvent des sous-mots, pas des mots entiers), et regarde chaque token devenir un identifiant entier du vocabulaire du modèle. Après ça, le modèle ne voit plus jamais de lettres, seulement une liste d'identifiants.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.