Programma Les 201 van 250 · Fine-Tuning, Conceptueel
Fine-Tuning, Conceptueel

Een Instruction-Tuning Dataset samenstellen

Laten we eerlijk zijn over wat deze module wel en niet kan. Het fine-tunen van een model is een GPU-taak.Je neemt een basismodel, laat het duizenden voorbeeldparen zien en voert gradient descent uit om de weights aan te passen. Dat vereist een training loop, een GPU en uren aan compute. Niets hiervan draait in deze browser sandbox (er is geen torch, geen GPU, geen netwerk). We zullen dus niet doen alsof dat wel zo is.

Wat we gaan leren is het deel waar een AI engineer daadwerkelijk de meeste tijd aan besteedt, en het deel dat bepaalt of de dure GPU run iets goeds produceert: de dataset. Een bekend resultaat in het veld (LIMA, "Less Is More for Alignment") liet zien dat ongeveer 1,000 zorgvuldig samengestelde voorbeelden beter zijn dan een veel grotere stapel ruis. Garbage in, garbage out is hier geen slogan, het is het hele spel. Je bouwt de dataset die de GPU voedt.

Een instruction-tuning record is gewoon een kleine dict. De gebruikelijke vorm is een instruction (wat de gebruiker vraagt), een optionele input (extra context), en de gouden output (waarop een goed model zou moeten antwoorden):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Voordat dit iets bereikt van een trainer moet je het opschonen. Echte exports staan vol met rijen met een ontbrekende output, een lege instruction die alleen witruimte bevat, een verkeerd type waar een string werd verwacht, en exacte duplicaten die rekenkracht verspillen en het model scheef trekken naar herhaalde voorbeelden. Jouw taak is een deterministische filter.

Bouw twee functies.

  • validate_pair(example) -> True alleen wanneer example een dict is waarvan instruction EN output beide strings zijn die niet leeg zijn na .strip(). Alles wat anders is (ontbrekende sleutel, geen string, leeg of alleen witruimte) geeft False terug. Een ontbrekende input is prima, het is optioneel.
  • clean_dataset(rows) -> verwijder elk ongeldig paar, verwijder dan exacte duplicaten (dezelfde instruction, dezelfde input, dezelfde output na het verwijderen van extra tekens), behoud de EERSTE keer. Geef {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
  • terug.

Een ongeldige rij telt als dropped_invalid; een geldige maar herhaalde rij telt als dropped_duplicate. De aantallen moeten overeenstemmen: input == kept + dropped_invalid + dropped_duplicate.

In een echte pipeline zouden de schoongemaakte rijen dan worden getokeniseerd en naar een trainer worden gestreamd. Die stap is hier alleen conceptueel, maar het is de moeite waard om het landschap te kennen waar je dataset in stroomt. Full fine-tuning werkt elk gewicht in het model bij: het meest nauwkeurig, het duurst, en het produceert een volledig nieuwe kopie van het model. LoRA / PEFT (parameter-efficient fine-tuning) bevriest het basismodel en traint alleen kleine low-rank adapters die erb bovenop rusten, zodat de run op één GPU past en je adapters in en uit één gedeelde basis kunt wisselen. En naast gewone supervised fine-tuning is er preference tuning, wat toon en veiligheid afstemt op menselijke voorkeuren in plaats van verzegeld antwoord: DPO (Direct Preference Optimization) traint direct op gekozen-tegenover-afgewezen antwoordparen en is een eenvoudiger, stabieler alternatief voor de oudere RLHF/PPO reward-model lus. Druk Run om een kleine rommelige dataset schoon te maken en de statistieken af te drukken.

Jij bent aan de beurt

Schrijf validate_pair(example) die True alleen retourneert wanneer example een dict is waarvan instruction en output beide niet-lege (na .strip()) strings zijn; alles wat anders is retourneert False (een ontbrekende input is toegestaan). Schrijf daarna clean_dataset(rows) dat ongeldige paren en exacte duplicaten (dezelfde gestripte instructie/input/output, waarbij de eerste behouden blijft) verwijdert en {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} retourneert.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.