Programma Lezione 229 di 246 · Modulo 22: Giudicare le affermazioni
Modulo 22: Giudicare le affermazioni

Un insieme di test che il modello ha già visto

Perché è importante I grandi modelli si addestrano su quasi tutto l'internet pubblico, e gli insiemi di test pubblici sono su internet. Quando elementi di test finiscono nell'addestramento, i punteggi salgono per un motivo che non ha niente a che fare con l'abilità, e l'articolo che li riporta potrebbe non saperlo mai.

Un insieme di test pubblico di 120 brani per il GPT del corso. I suoi autori dicono che è stato scritto separatamente. In realtà una parte è stata copiata dal testo delle lezioni del corso, che è proprio ciò su cui si è addestrato il GPT.

Un controllo standard: taglia ogni brano in pezzi da 13 caratteri e cercali nel testo di addestramento. Un brano scritto separatamente condivide per caso pochi pezzi lunghi; uno copiato li condivide tutti. judge.overlap(p) dà la quota dei pezzi di un brano trovati nel testo di addestramento, e judge.losses(model, passages) la loss del modello su ogni brano.

Prima prevedi: togliere i brani trapelati renderà la loss riportata migliore o peggiore?

Parole e simboli di questa lezione
contaminazione (fuga di dati)
elementi di test che erano anche nei dati di addestramento
Tocca a te

Imposta my_guess su "better" o "worse". Riempi reported (loss media su tutti i 120), leaked (una lista di True/False, sovrapposizione sopra 0.5), clean (loss media sui brani non trapelati) e leaked_loss.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.