Préparer un jeu de données d'instructions
Soyons honnêtes sur ce que ce module peut et ne peut pas faire. Faire le fine-tuning d'un modèle, c'est un travail de GPU. Tu prends un modèle de base, tu lui montres des milliers de paires d'exemples, et tu fais tourner une descente de gradient pour ajuster ses poids. Il faut une boucle d'entraînement, un GPU et des heures de calcul. Rien de tout ça ne tourne dans ce bac à sable du navigateur (pas de torch, pas de GPU, pas de réseau). Donc on ne fera pas semblant.
Ce qu'on VA enseigner, c'est la partie sur laquelle un ingénieur IA passe vraiment le plus de temps, et celle qui décide si le coûteux passage sur GPU produira quelque chose de bon : le jeu de données. Un résultat célèbre du domaine (LIMA, « Less Is More for Alignment ») a montré qu'environ 1,000 exemples soigneusement choisis battent un tas bien plus grand d'exemples bruités. « Données pourries en entrée, résultat pourri en sortie » n'est pas un slogan ici, c'est tout l'enjeu. Tu construis le jeu de données qui nourrit le GPU.
Un enregistrement d'instruction n'est qu'un petit dict. La forme courante comprend une instruction (ce que demande l'utilisateur), une input facultative (du contexte en plus), et la output de référence (ce qu'un bon modèle devrait répondre) :
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Avant que tout ça n'arrive à un entraîneur, il faut le nettoyer. Les vrais exports sont pleins de lignes sans output, d'instruction vides qui ne contiennent que des espaces, de mauvais types là où on attendait une chaîne, et de doublons exacts qui gaspillent du calcul et poussent le modèle vers les exemples répétés. Ton travail est un filtre déterministe.
Construis deux fonctions.
validate_pair(example)->Trueseulement quandexampleest un dict dont l'instructionET l'outputsont des chaînes non vides après.strip(). Tout le reste (clé manquante, valeur qui n'est pas une chaîne, vide ou faite seulement d'espaces) renvoieFalse. Uneinputmanquante, ce n'est pas grave, elle est facultative.clean_dataset(rows)-> retire chaque paire invalide, puis retire les doublons exacts (mêmeinstruction, mêmeinput, mêmeoutputaprès nettoyage des espaces), en gardant la PREMIÈRE occurrence. Renvoie{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Une ligne invalide compte dans dropped_invalid ; une ligne valide mais répétée compte dans dropped_duplicate. Les comptes doivent tomber juste : input == kept + dropped_invalid + dropped_duplicate.
Dans un vrai pipeline, les lignes nettoyées seraient ensuite découpées en tokens et envoyées à un entraîneur. Cette étape reste conceptuelle ici, mais ça vaut la peine de connaître le paysage dans lequel ton jeu de données arrive. Le fine-tuning complet met à jour chaque poids du modèle : le plus précis, le plus coûteux, et il produit une toute nouvelle copie du modèle. LoRA / PEFT (fine-tuning économe en paramètres) gèle le modèle de base et n'entraîne que de petits adaptateurs de rang faible posés par-dessus, donc l'entraînement tient sur un seul GPU et tu peux brancher et débrancher des adaptateurs sur une même base partagée. Et au-delà du fine-tuning supervisé simple, il y a l'ajustement par préférences, qui aligne le ton et la sécurité à partir de préférences humaines plutôt que de réponses de référence : DPO (Direct Preference Optimization) s'entraîne directement sur des paires de réponses choisie contre rejetée, une alternative plus simple et plus stable à l'ancienne boucle RLHF/PPO avec un modèle de récompense. Appuie sur Run pour nettoyer un petit jeu de données en désordre et afficher les statistiques.
Écris validate_pair(example) qui renvoie True seulement quand example est un dict dont l'instruction et l'output sont des chaînes non vides (après .strip()) ; tout le reste renvoie False (une input manquante est permise). Puis écris clean_dataset(rows) qui retire les paires invalides et les doublons exacts (même instruction/input/output nettoyés, en gardant le premier), et renvoie {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.