Um conjunto de testes que o modelo já viu
Por que isso importa Modelos grandes treinam na maior parte da internet pública, e conjuntos de teste públicos estão na internet. Quando itens de teste vazam para o treinamento, as pontuações sobem por um motivo que não tem nada a ver com habilidade, e o artigo que os relata pode nunca saber.
A conjunto de teste público de 120 passagens para o curso GPT. Seus autores dizem que foi escrito separadamente. Parte dele foi, na verdade, copiada do texto da lição do curso, que é o que o GPT treinou.
A standard check: corte cada trecho em pedaços de 13 caracteres e procure-os no texto de treinamento. Um trecho escrito separadamente compartilha poucos pedaços longos por acaso; um copiado compartilha todos eles. judge.overlap(p) dá a parte dos pedaços de um trecho encontrados no texto de treinamento, e judge.losses(model, passages) a loss do modelo em cada trecho.
Preveja primeiro: remover as passagens vazadas deixará a perda relatada melhor ou pior?
Palavras e símbolos nesta lição
- contaminação (vazamento)
- itens que também estavam nos dados de treinamento
Defina my_guess como "better" ou "worse". Preencha reported (mean loss sobre todos os 120), leaked (uma lista de True/False, overlap acima de 0.5), clean (mean loss sobre as passagens que não vazaram) e leaked_loss.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.