'n Toets wat die model reeds gesien het
Hoekom dit saak maak Groot modelle word op die meeste van die publieke internet opgelei, en publieke toetssets is op die internet. Wanneer toetsitems in die opleiding lek, gaan punte op vir 'n rede wat niks met vaardigheid te doen het nie, en die artikel wat dit rapporteer mag dit nooit weet nie.
A publieke toetsstel van 120 passages vir die kursus GPT. Die outeurs sê dit is apart geskryf. Sommige dele is in werklikheid gekopieer van die kursus se lessteks, wat is waarop die GPT getoëi het.
A standaardkontrole: sny elke gedeelte in 13-karakter stukke en soek hulle op in die opleidingslêer. 'n Gedeelte wat apart geskryf is, deel min lang stukke per toeval; 'n gekopieerde een deel al hulle. judge.overlap(p) gee die deel van 'n gedeelte se stukke wat in die opleidingslêer gevind word, en judge.losses(model, passages) die model se loss op elke gedeelte.
Voorspel eerste: sal die verwydering van die lekpassies die gerapporteerde verlies beter of slegter maak?
Woorde en simbole in hierdie les
- besmetting (lekage)
- toetsitems wat ook in die opleidingsdata was
Stel my_guess in op "better" of "worse". Vul reported (gemiddelde verlies oor al 120), leaked ( 'n lys van True/False, oorkapping bo 0.5), clean (gemiddelde verlies oor die passages wat nie lek nie) en leaked_loss.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.