Een testset die het model al heeft gezien
Waarom dit ertoe doetGrote modellen trainen op het grootste deel van het publieke internet, en publieke testsets staan op het internet. Wanneer testitems lekken naar de training, gaan de scores omhoog om een reden die niets te maken heeft met vaardigheid, en de paper die ze rapporteert weet dit misschien nooit.
A publieke testset van 120 passages voor de GPT cursus. De auteurs zeggen dat het apart is geschreven. Een deel was in feite gekopieerd uit de lestekst van de cursus, wat de basis is waarop de GPT getraind is.
A standaardcontrole: knip elke passage in stukken van 13 karakters en zoek deze op in de trainingstekst. Een apart geschreven passage deelt toevallig weinig lange stukken; een gekopieerde passage deelt ze allemaal. judge.overlap(p) geeft het deel van de stukken van een passage dat in de trainingstekst is gevonden, en judge.losses(model, passages) de loss van het model op elke passage.
Voorspel eerst: zal het verwijderen van de gelekte passages de gerapporteerde loss beter of slechter maken?
Woorden en symbolen in deze les
- vervuiling (lek)
- test items die ook in de trainingsdata zaten
Zet my_guess op "better" of "worse". Vul reported (gemiddelde loss over alle 120), leaked (een lijst van True/False, overlap boven 0.5), clean (gemiddelde loss over de passages die niet zijn gelekt) en leaked_loss.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.