Programma Les 235 van 246 · Module 22: Claims beoordelen
Module 22: Claims beoordelen

Poort: beoordeel een claim (AI uit)

Waarom dit ertoe doetHet kritisch lezen van resultaten is een vaardigheid die je bij elk paper, model card en benchmark tabel zult gebruiken. De regels zijn simpel; ze elke keer toepassen zonder dat je wordt verteld welke belangrijk is, is de vaardigheid.

Gate regels: AI tutor uit. Schrijf review(claim). Een bewering zegt "model A verslaat model B" en komt met de loss van elke seed van elk model en het deel van de testset dat in de trainingsdata voorkomt. In volgorde:

  1. Als meer dan 10% van de testset in de trainingsdata zat, geef dan "leaked" terug: geen score erop kan worden vertrouwd.
  2. Als een van de modellen minder dan 2 seeds heeft, geef dan "not shown" terug: de spreiding is onbekend.
  3. Laat diff = mean(B) - mean(A) (positief als A beter is) en se = sqrt(var(A) / nA + var(B) / nB), steekproefvarianties (ddof=1). Geef "shown" terug als diff > 2 se, "contradicted" als diff < -2 se, anders "not shown".

De check voert je functie uit op zes nieuwe claims, anders bij elke check, inclusief de edge cases: één seed, precies 10% overlap, seeds die exact overeenstemmen.

Woorden en symbolen in deze les
vervuiling (lek)
test items die ook in de trainingsdata zaten
seed
het getal dat de willekeurige keuzes van een run vastlegt; een andere seed geeft een ander resultaat
Jij bent aan de beurt

Vul review in. Probeer het op {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (de opgenomen breedtes 1024 en 512 bij 1,5 miljoen tokens).

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.