Curando um Dataset de Instruction-Tuning
Vamos ser honestos sobre o que este módulo pode e não pode fazer. Fazer o fine-tuning de um modelo é um trabalho de GPU.Você pega um modelo base, mostra milhares de pares de exemplos e executa o gradient descent para ajustar seus weights. Isso precisa de um training loop, uma GPU e horas de computação. Nada disso roda nesta sandbox do navegador (não existe torch, não há GPU, não há rede). Então não vamos fingir o contrário.
O que nós VAMOS ensinar é a parte em que um engenheiro de IA realmente passa a maior parte do tempo, e a parte que decide se a execução cara da GPU produz algo bom: o dataset. Um resultado famoso no campo (LIMA, "Less Is More for Alignment") mostrou que cerca de 1.000 exemplos cuidadosamente selecionados superam um monte muito maior de exemplos ruidosos. Lixo entra, lixo sai não é um slogan aqui, é o jogo todo. Você constrói o dataset que alimenta a GPU.
Um registro de instruction-tuning é apenas um pequeno dict. O formato comum é um instruction (o que o usuário pede), um input opcional (contexto extra) e o output gold (o que um bom modelo deve responder):
{"instruction": "Summarize this review in one sentence.",
"input": "The battery lasts forever but the screen is dim.",
"output": "Great battery life, but the screen is too dim."}Antes que qualquer coisa disso chegue a um treinador, você precisa limpá-la. Exportações reais estão cheias de linhas com um output ausente, um instruction em branco que é apenas espaço em branco, um tipo errado onde uma string era esperada, e duplicatas exatas que desperdiçam processamento e distorcem o modelo em direção a exemplos repetidos. Seu trabalho é um filtro determinístico.
Construa duas funções.
validate_pair(example)->Trueapenas quandoexampleé um dicionário cujoinstructionEoutputsão ambos strings que não estão vazias após.strip(). Qualquer outra coisa (chave ausente, não string, em branco ou apenas espaços) retornaFalse. Uminputausente está tudo bem, ele é opcional.clean_dataset(rows)-> descarte cada par inválido, depois descarte duplicatas exatas (mesmoinstruction, mesmoinput, mesmooutputapós remover espaços), mantendo a PRIMEIRA ocorrência. Retorne{"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Uma linha inválida conta como dropped_invalid; uma linha válida, mas repetida, conta como dropped_duplicate. As contagens devem bater: input == kept + dropped_invalid + dropped_duplicate.
Em um pipeline real, as linhas limpas seriam tokenizadas e enviadas para um trainer. Esse passo é apenas conceitual aqui, mas vale saber o cenário para onde seu dataset alimenta. Full fine-tuning atualiza cada peso no modelo: o mais acurácia, o mais caro, e ele produz uma cópia totalmente nova do modelo. LoRA / PEFT (parameter-efficient fine-tuning) congela o modelo base e treina apenas pequenos adaptadores de baixo ranking que rodam por cima, então a execução cabe em uma GPU e você pode trocar adaptadores para dentro e para fora de uma base compartilhada. E além do supervised fine-tuning comum, existe o preference tuning, que alinha tom e segurança a partir de preferências humanas em vez de gold answers: DPO (Direct Preference Optimization) treina diretamente em pares de respostas escolhidas vs rejeitadas e é uma alternativa mais simples e estável ao laço de reward-model RLHF/PPO mais antigo. Pressione Run para limpar um pequeno dataset bagunçado e imprimir as estatísticas.
Escreva validate_pair(example) retornando True apenas quando example for um dicionário cujos instruction e output são ambos strings não vazias (após .strip()); todo o resto retorna False (um input ausente é permitido). Depois escreva clean_dataset(rows) que descarta pares inválidos e duplicatas exatas (mesma instrução/entrada/saída limpa, mantendo a primeira), retornando {"kept": [...], "stats": {"input", "kept", "dropped_invalid", "dropped_duplicate"}}.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.