Curare un dataset per l'instruction tuning
Siamo onesti su che cosa questo modulo può e non può fare. Fare il fine-tuning di un modello è un lavoro da GPU. Prendi un modello di base, gli mostri migliaia di coppie di esempi, e fai girare la discesa del gradiente per spostarne i pesi. Servono un ciclo di addestramento, una GPU e ore di calcolo. Niente di questo gira in questa sandbox nel browser (non c'è torch, non c'è GPU, non c'è rete). Quindi non faremo finta del contrario.
Ciò che INSEGNEREMO è la parte su cui un ingegnere dell'IA passa davvero la maggior parte del tempo, e la parte che decide se la costosa esecuzione su GPU produrrà qualcosa di buono: il dataset. Un risultato famoso del settore (LIMA, "Less Is More for Alignment") ha mostrato che circa 1.000 esempi curati con attenzione battono un mucchio molto più grande di esempi rumorosi. "Spazzatura dentro, spazzatura fuori" qui non è uno slogan, è tutto il gioco. Tu costruisci il dataset che alimenta la GPU.
Un record di instruction tuning è solo un piccolo dict. La forma comune è un'instruction (ciò che chiede l'utente), un input facoltativo (contesto in più), e l'output di riferimento (ciò che dovrebbe rispondere un buon modello):
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Prima che tutto questo arrivi a un addestratore devi pulirlo. Le esportazioni reali sono piene di righe con un output mancante, un'instruction vuota fatta solo di spazi, un tipo sbagliato dove ci si aspettava una stringa, e doppioni esatti che sprecano calcolo e spingono il modello verso gli esempi ripetuti. Il tuo lavoro è un filtro deterministico.
Costruisci due funzioni.
validate_pair(example)->Truesolo quandoexampleè un dict la cuiinstructionE il cuioutputsono entrambi stringhe non vuote dopo.strip(). Qualsiasi altra cosa (chiave mancante, non stringa, vuota o fatta solo di spazi) restituisceFalse. Uninputmancante va bene, è facoltativo.clean_dataset(rows)-> scarta ogni coppia non valida, poi scarta i doppioni esatti (stessainstruction, stessoinput, stessooutputdopo aver tolto gli spazi), tenendo la PRIMA occorrenza. Restituisci{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Una riga non valida conta come dropped_invalid; una riga valida ma ripetuta conta come dropped_duplicate. I conteggi devono tornare: input == kept + dropped_invalid + dropped_duplicate.
In una vera pipeline le righe pulite verrebbero poi divise in token e mandate a un addestratore. Qui quel passo è solo concettuale, ma vale la pena conoscere il panorama che il tuo dataset alimenta. Il fine-tuning completo aggiorna ogni peso del modello: il più preciso, il più costoso, e produce un'intera nuova copia del modello. LoRA / PEFT (fine-tuning efficiente nei parametri) congela il modello di base e addestra solo piccoli adattatori di rango basso che stanno sopra, così l'esecuzione sta su una sola GPU e puoi scambiare gli adattatori su un'unica base condivisa. E oltre al semplice fine-tuning supervisionato c'è l'ottimizzazione sulle preferenze (preference tuning), che allinea tono e sicurezza a partire dalle preferenze umane invece che da risposte di riferimento: la DPO (Direct Preference Optimization) si addestra direttamente su coppie di risposte scelta-contro-rifiutata ed è un'alternativa più semplice e più stabile al vecchio ciclo RLHF/PPO con un modello di ricompensa. Premi Run per pulire un piccolo dataset disordinato e stampare le statistiche.
Scrivi validate_pair(example) che restituisce True solo quando example è un dict la cui instruction e il cui output sono entrambi stringhe non vuote (dopo .strip()); tutto il resto restituisce False (un input mancante è permesso). Poi scrivi clean_dataset(rows) che scarta le coppie non valide e i doppioni esatti (stessi instruction/input/output ripuliti, tenendo il primo), restituendo {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.