Ein Testset, das das Modell bereits gesehen hat
Warum das wichtig istGroße Modelle werden mit dem Großteil des öffentlichen Internets trainiert, und öffentliche Testsets sind im Internet. Wenn Testelemente in das Training gelangen, steigen die Scores aus einem Grund, der nichts mit Fähigkeit zu tun hat, und das Paper, das sie berichtet, weiß das vielleicht nie.
A öffentlicher Testdatensatz von 120 Textpassagen für den Kurs GPT. Seine Autoren sagen, er wurde separat geschrieben. Ein Teil davon wurde tatsächlich aus dem Unterrichtstext des Kurses kopiert, auf dem das GPT trainiert wurde.
A Standard-Check: Schneide jede Passage in 13-Zeichen-Stücke und suche sie im Trainingstext. Eine separat geschriebene Passage teilt nur wenige lange Stücke durch Zufall; eine kopierte Passage teilt alle davon. judge.overlap(p) gibt den Anteil der Stücke einer Passage an, die im Trainingstext gefunden wurden, und judge.losses(model, passages) den Loss des Modells auf jeder Passage.
Vorhersage zuerst: wird das Entfernen der geleakten Passagen den gemeldeten Verlust besser oder schlechter machen?
Wörter und Symbole in dieser Lektion
- kontamination (Leckage)
- Testelemente, die auch in den Trainingsdaten waren
Setze my_guess auf "better" oder "worse". Fülle reported (mittlerer Verlust über alle 120), leaked (eine Liste von True/False, Überlappung über 0.5), clean (mittlerer Verlust über die Passagen, die nicht geleakt wurden) und leaked_loss.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.