Divisão Determinística de Treino/Validação
Depois que seu dataset estiver limpo, você precisa dividi-lo: a maioria das linhas vai para train (o que o modelo aprende) e uma fatia reservada vai para validation (o que você usa para dar a nota). O conjunto reservado é sagrado. Se um exemplo vazar para as duas metades, seu número de validação é uma mentira, porque o modelo foi testado em algo que ele treinou. Então a divisão deve ser uma partição limpa: sem sobreposição, nada perdido.
Ele também deve ser reproducible. "Ele marcou 0.81" não faz sentido se rodar o script novamente embaralhar em um split diferente e der 0.79. A correção é a mesma que você usa em todo lugar onde a aleatoriedade aparece em ML: defina a seed do gerador. A mesma seed sempre produz o mesmo split, então seu experimento é repetível e um colega de equipe pode reproduzir seus números exatos.
Note que nós embaralhamos os indices, não as linhas em si, e passamos uma seed explícita para um gerador privado em vez de mexer no global:
import random
def split_dataset(rows, val_frac, seed):
indices = list(range(len(rows)))
rng = random.Random(seed) # a private RNG, does not disturb global state
rng.shuffle(indices)
n_val = int(round(len(rows) * val_frac))
...Use random.Random(seed) (um gerador novo e isolado), não random.seed(...) no módulo global, para que chamar sua function não mude silenciosamente a aleatoriedade em outro lugar de um programa.
Construa split_dataset(rows, val_frac, seed) que retorna {"train": [...], "val": [...]} onde:
- o tamanho de validação é
int(round(len(rows) * val_frac)), e train é o resto; - train e val são disjoint e juntos contêm cada linha original exatamente uma vez;
- a mesma seed sempre gera a MESMA divisão, e uma seed diferente geralmente gera uma diferente.
Essa preparação determinística é tudo do que a execução da GPU depende. O treinamento real (adaptadores LoRA, um otimizador, uma curva de perda) acontece em hardware que este sandbox não possui. Pressione Run para dividir uma list e confirmar que as duas metades reconstroem o todo.
Escreva split_dataset(rows, val_frac, seed) que retorna {"train": [...], "val": [...]}. Embaralhe uma lista de índices com random.Random(seed) (não o RNG global), pegue o primeiro int(round(len(rows) * val_frac)) como validação e o resto como treino. As duas metades devem ser disjuntas, devem conter juntas cada linha original exatamente uma vez e devem ser reproduzíveis para uma seed dada.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.