Un insieme di test che il modello ha già visto
Perché è importante I grandi modelli si addestrano su quasi tutto l'internet pubblico, e gli insiemi di test pubblici sono su internet. Quando elementi di test finiscono nell'addestramento, i punteggi salgono per un motivo che non ha niente a che fare con l'abilità, e l'articolo che li riporta potrebbe non saperlo mai.
Un insieme di test pubblico di 120 brani per il GPT del corso. I suoi autori dicono che è stato scritto separatamente. In realtà una parte è stata copiata dal testo delle lezioni del corso, che è proprio ciò su cui si è addestrato il GPT.
Un controllo standard: taglia ogni brano in pezzi da 13 caratteri e cercali nel testo di addestramento. Un brano scritto separatamente condivide per caso pochi pezzi lunghi; uno copiato li condivide tutti. judge.overlap(p) dà la quota dei pezzi di un brano trovati nel testo di addestramento, e judge.losses(model, passages) la loss del modello su ogni brano.
Prima prevedi: togliere i brani trapelati renderà la loss riportata migliore o peggiore?
Parole e simboli di questa lezione
- contaminazione (fuga di dati)
- elementi di test che erano anche nei dati di addestramento
Imposta my_guess su "better" o "worse". Riempi reported (loss media su tutti i 120), leaked (una lista di True/False, sovrapposizione sopra 0.5), clean (loss media sui brani non trapelati) e leaked_loss.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.