Kurrikulum Leson 235 van 246 · Module 22: Beoordeel aansprake
Module 22: Beoordeel aansprake

Poort: hersien 'n eis (AI af)

Waarom dit saak maak Om resultate krities te lees is 'n vaardigheid wat jy op elke papier, model kaart en vergelykings tabel sal gebruik. Die reëls is eenvoudig. Om hulle elke keer toe toe te pas, sonder om te weet watter een saak maak, is die vaardigheid.

Gate reëls: AI-tutor af. Skryf review(claim). 'n Eis sê "model A wen van model B" en kom saam met die verlies van elke saad van elke model en die deel van die toetseset wat in die opleidingsdata gevind is. In volgorde:

  1. As die teststel meer as 10% van die data in die training data was, gee terug "leaked": geen punt daarop kan vertrou word nie.
  2. As die model minder as 2 seeds het, gee "not shown" terug: die spread is onbekend.
  3. Laat diff = mean(B) - mean(A) (positief wanneer A beter is) en se = sqrt(var(A) / nA + var(B) / nB), steekproefvariansies (ddof=1). Gee "shown" terug as diff > 2 se, "contradicted" as diff < -2 se, anders "not shown".

Die kontrole hardloop jou function op ses nuwe claims, verskillend by elke kontrole, insluitend die edge cases: een seed, presies 10% overlap, seeds wat presies ooreenstem.

Woorde en simbole in hierdie les
besmetting (lekage)
toetsitems wat ook in die opleidingsdata was
seed
die nommer wat 'n loop se willeke keuses vasstel; 'n ander seed gee 'n ander resultaat
Jou beurt

Vul review. Probeer dit op {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (die opgetekende breedtes 1024 en 512 by 1.5 miljoen tokens).

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.