Müfredat 246 dersinden 229. · Modül 22: İddiaları yargılamak
Modül 22: İddiaları yargılamak

Modelin zaten gördüğü bir test seti

Neden önemli Büyük modeller genel internetin çoğunda eğitilir, ve genel test setleri internettedir. Test öğeleri eğitime sızdığında puanlar beceriyle hiç ilgisi olmayan bir nedenle yükselir, ve onları raporlayan makale bunu hiç bilmeyebilir.

Kurs GPT'si için 120 pasajlık genel bir test seti. Yazarları ayrı yazıldığını söylüyor. Aslında bir kısmı kursun ders metninden, yani GPT'nin eğitildiği metinden kopyalanmış.

Standart bir kontrol: her pasajı 13 karakterlik parçalara kes ve onları eğitim metninde ara. Ayrı yazılmış bir pasaj şans eseri az sayıda uzun parça paylaşır; kopyalanmış biri hepsini paylaşır. judge.overlap(p) bir pasajın parçalarından eğitim metninde bulunanların payını, judge.losses(model, passages) de modelin her pasajdaki kaybını verir.

Önce tahmin et: sızmış pasajları çıkarmak raporlanan kaybı daha iyi mi yapacak, daha kötü mü?

Bu dersteki kelimeler ve semboller
bulaşma (sızıntı)
eğitim verisinde de bulunan test öğeleri
Senin sıran

my_guess değerini "better" ya da "worse" olarak ayarla. reported'ı (120'sinin hepsi üzerinden ortalama kayıp), leaked'ı (True/False listesi, örtüşme 0.5'in üstünde), clean'i (sızmamış pasajlar üzerinden ortalama kayıp) ve leaked_loss'u doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.