Lehrplan Lektion 201 von 250 · Feinabstimmung, konzeptionell
Feinabstimmung, konzeptionell

Einen Instruction-Tuning-Datensatz kuratieren

Seien wir ehrlich darüber, was dieses Modul kann und was nicht. Das Fine-tuning eines Modells ist ein GPU-Job.Du nimmst ein Basismodell, zeigst ihm tausende Beispielpaare und führst Gradient Descent aus, um seine Gewichte anzupassen. Das benötigt eine training loop, eine GPU und Stunden an Rechenleistung. Nichts davon läuft in dieser Browser-Sandbox (es gibt kein torch, keine GPU, kein Netzwerk). Also werden wir nicht so tun, als wäre es anders.

Was wir lehren WERDEN, ist der Teil, mit dem ein KI-Ingenieur tatsächlich die meiste Zeit verbringt, und der Teil, der entscheidet, ob der teure GPU-Lauf etwas Gutes produziert: der Datensatz. Ein berühmtes Ergebnis in diesem Bereich (LIMA, "Less Is More for Alignment") zeigte, dass etwa 1.000 sorgfältig kuratierte Beispiele einen viel größeren Haufen verrauschter Beispiele schlagen. Garbage in, garbage out ist hier kein Slogan, es ist das ganze Spiel. Du baust den Datensatz, der die GPU füttert.

Ein Instruction-Tuning-Datensatz ist nur ein kleines Dictionary. Die übliche Form ist ein instruction (was der Benutzer fragt), ein optionales input (zusätzlicher Kontext) und die goldene output (was ein gutes Modell antworten sollte):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Bevor das alles einen Trainer erreicht, musst du es bereinigen. Echte Exporte sind voller Zeilen mit einer fehlenden output, einer leeren instruction, die nur Leerzeichen enthält, einem falschen Typ, wo ein string erwartet wurde, und exakten Duplikaten, die Rechenleistung verschwenden und das Modell zu wiederholten Beispielen verzerren. Dein Job ist ein deterministischer Filter.

Erstelle zwei Funktionen.

  • validate_pair(example) -> True nur wenn example ein dict ist, dessen instruction UND output beide Strings sind, die nach .strip() nicht leer sind. Alles andere (fehlender Key, kein String, leer oder nur Whitespace) gibt False zurück. Ein fehlendes input ist okay, es ist optional.
  • clean_dataset(rows) -> entferne jedes ungültige Paar, dann entferne exakte Duplikate (gleiches instruction, gleiches input, gleiches output nach dem Strippen) und behalte die ERSTE Vorkommen. Gib {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
  • zurück.

Eine ungültige Zeile zählt als dropped_invalid; eine gültige, aber wiederholte Zeile zählt als dropped_duplicate. Die Zählungen müssen übereinstimmen: input == kept + dropped_invalid + dropped_duplicate.

In einer echten Pipeline würden die bereinigten Zeilen dann tokenisiert und an einen Trainer gestreamt. Dieser Schritt ist hier nur konzeptionell, aber es ist wertvoll zu wissen, in welche Landschaft dein Datensatz fließt. Full fine-tuning aktualisiert jedes Gewicht im Modell: am genauesten, am teuersten, und es erzeugt eine ganz neue Kopie des Modells. LoRA / PEFT (parameter-efficient fine-tuning) friert das Basismodell ein und trainiert nur kleine Low-Rank Adapter, die obenauf liegen, sodass der Durchlauf auf eine GPU passt und du Adapter in eine gemeinsame Basis ein- und auswechseln kannst. Und über das einfache supervised fine-tuning hinaus gibt es preference tuning, das Tonfall und Sicherheit aus menschlichen Präferenzen statt aus Gold-Antworten ausrichtet: DPO (Direct Preference Optimization) trainiert direkt auf gewählten gegenüber abgelehnten Antwortpaaren und ist eine einfachere, stabilere Alternative zur älteren RLHF/PPO reward-model Schleife. Drücke Run um einen kleinen unordentlichen Datensatz zu bereinigen und die Statistiken zu drucken.

Du bist dran

Schreibe validate_pair(example), das True nur zurückgibt, wenn example ein dict ist, dessen instruction und output beide nicht leere (nach .strip()) strings sind; alles andere gibt False zurück (ein fehlendes input ist erlaubt). Schreibe dann clean_dataset(rows), das ungültige Paare und exakte Duplikate (gleiche bereinigte instruction/input/output, wobei das erste behalten wird) entfernt und {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} zurückgibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.