Conteúdo do curso Lição 229 de 246 · Módulo 22: Julgando afirmações
Módulo 22: Julgando afirmações

Um conjunto de testes que o modelo já viu

Por que isso importa Modelos grandes treinam na maior parte da internet pública, e conjuntos de teste públicos estão na internet. Quando itens de teste vazam para o treinamento, as pontuações sobem por um motivo que não tem nada a ver com habilidade, e o artigo que os relata pode nunca saber.

A conjunto de teste público de 120 passagens para o curso GPT. Seus autores dizem que foi escrito separadamente. Parte dele foi, na verdade, copiada do texto da lição do curso, que é o que o GPT treinou.

A standard check: corte cada trecho em pedaços de 13 caracteres e procure-os no texto de treinamento. Um trecho escrito separadamente compartilha poucos pedaços longos por acaso; um copiado compartilha todos eles. judge.overlap(p) dá a parte dos pedaços de um trecho encontrados no texto de treinamento, e judge.losses(model, passages) a loss do modelo em cada trecho.

Preveja primeiro: remover as passagens vazadas deixará a perda relatada melhor ou pior?

Palavras e símbolos nesta lição
contaminação (vazamento)
itens que também estavam nos dados de treinamento
Sua vez

Defina my_guess como "better" ou "worse". Preencha reported (mean loss sobre todos os 120), leaked (uma lista de True/False, overlap acima de 0.5), clean (mean loss sobre as passagens que não vazaram) e leaked_loss.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.