Programma Les 229 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Een testset die het model al heeft gezien

Waarom dit ertoe doetGrote modellen trainen op het grootste deel van het publieke internet, en publieke testsets staan op het internet. Wanneer testitems lekken naar de training, gaan de scores omhoog om een reden die niets te maken heeft met vaardigheid, en de paper die ze rapporteert weet dit misschien nooit.

A publieke testset van 120 passages voor de GPT cursus. De auteurs zeggen dat het apart is geschreven. Een deel was in feite gekopieerd uit de lestekst van de cursus, wat de basis is waarop de GPT getraind is.

A standaardcontrole: knip elke passage in stukken van 13 karakters en zoek deze op in de trainingstekst. Een apart geschreven passage deelt toevallig weinig lange stukken; een gekopieerde passage deelt ze allemaal. judge.overlap(p) geeft het deel van de stukken van een passage dat in de trainingstekst is gevonden, en judge.losses(model, passages) de loss van het model op elke passage.

Voorspel eerst: zal het verwijderen van de gelekte passages de gerapporteerde loss beter of slechter maken?

Woorden en symbolen in deze les
vervuiling (lek)
test items die ook in de trainingsdata zaten
Jij bent aan de beurt

Zet my_guess op "better" of "worse". Vul reported (gemiddelde loss over alle 120), leaked (een lijst van True/False, overlap boven 0.5), clean (gemiddelde loss over de passages die niet zijn gelekt) en leaked_loss.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.