Kurrikulum Leson 201 van 250 · Fyn-afstemming, Konsepueel
Fyn-afstemming, Konsepueel

Kurasie van 'n Instruction-Tuning-datatuur

Kom ons eerlik wees oor wat hierdie module kan en nie kan doen nie. Om 'n model te fine-tune is 'n GPU-taak. Jy neem 'n base model, wys dit duisende voorbeeldpaaie, en hardloop gradient descent om sy weights te skuif. Dit het 'n training loop, 'n GPU, en ure se compute nodig. Niks daarvan loop in hierdie browser sandbox nie (daar is geen torch, geen GPU, geen netwerk nie). Ons gaan dus nie maak asof nie.

Wat ons GAAN onderrig is die deel waarop 'n AI-ingenieur werklik die meeste van hul tyd spandeer, en die deel wat besluit of die duur GPU-aanloop iets goeds produseer: die dataset. 'n Bekende resultaat in die veld (LIMA, "Less Is More for Alignment") het getoon dat ongeveer 1,000 noukeurig gekureerde voorbeelde 'n baie groter stapel raserige voorbeelde verslaan. Garbage in, garbage out is nie 'n slagspreuk hier nie, dit is die hele spel. Jy bou die dataset wat die GPU voed.

'n instruction-tuning rekord is net 'n klein dict. Die algemene vorm is 'n instruction (wat die gebruiker vra), 'n opsionele input (ekstra konteks), en die goue output (waarop 'n goeie model moet antwoord):

{"instruction": "Summarize this review in one sentence.",
 "input": "The battery lasts forever but the screen is dim.",
 "output": "Great battery life, but the screen is too dim."}

Voordat enige van dit by 'n afrigter aankom, moet jy dit skoonmaak. Ware uitvoere is vol rye met 'n ontbrekende output, 'n leë instruction wat net witspasies is, 'n verkeerde tipe waar 'n string verwag is, en presiese duplikate wat rekenkrag mors en die model na herhaalde voorbeelde skew. Jou werk is 'n deterministiese filter.

Boue twee funksies.

  • validate_pair(example) -> True net wanneer example 'n dict is waarvan instruction EN output albei strings is wat nie leeg is na .strip() nie. Enigiets anders (ontbrekende sleutel, nie 'n string nie, leeg of net witspasies) gee False terug. 'n Ontbrekende input is reg, dit is opsioneel.
  • clean_dataset(rows) -> laat elke ongeldige paar val, dan laat presiese duplikate val (dieselfde instruction, dieselfde input, dieselfde output na strooi), hou die EERSTE voorkoms. Gee {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
  • terug.

'n ongeldige ry tel as dropped_invalid; 'n geldige maar herhaalde ry tel as dropped_duplicate. Die tellings moet ooreenstem: input == kept + dropped_invalid + dropped_duplicate.

In 'n regte pipeline sou die skoongemaakte rye dan getokeniseer en na 'n trainer gestroom word. Daardie stap is hier net 'n konsep, maar dit is nuttig om die landskap te ken waarin jou datastel vloei. Volle fine-tuning opdateer elke gewig in die model: dit is die mees akkuraat, die duurste, en dit produseer 'n splinternuwe kopie van die model. LoRA / PEFT (parameter-efficient fine-tuning) vries die basismodel en skool net klein low-rank adapters wat bo-op ry, sodat die run op een GPU pas en jy adapters in en uit een gedeelde basis kan ruil. En buite gewone supervised fine-tuning is daar preference tuning, wat toon en veiligheid volgens menslike voorkeure belyn eerder as goue antwoorde: DPO (Direct Preference Optimization) skool direk op gekose-teen-verwerpte antwoordpaaie en is 'n eenvoudiger, meer stabiele alternatief vir die ouer RLHF/PPO reward-model loop. Druk Run om 'n klein deurmekaar datastel skoon te maak en die statistieke te druk.

Jou beurt

Skryf validate_pair(example) wat net True teruggee wanneer example 'n dict is waarvan instruction en output albei nie-leë (na .strip()) strings is; alles anders teruggee False ( 'n ontbrekende input word toegelaat). Skryf dan clean_dataset(rows) wat ongeldige pare en presiese duplikate (dieselfde gestripte instruction/input/output, hou die eerste) weglaat en {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}} teruggee.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.