Tor: eine Behauptung überprüfen (KI aus)
Warum das wichtig istDas kritische Lesen von Ergebnissen ist eine Fähigkeit, die du in jeder Arbeit, Modellkarte und Benchmark-Tabelle nutzen wirst. Die Regeln sind einfach; sie jedes Mal anzuwenden, ohne dass man dir sagt, welche wichtig ist, ist die Fähigkeit.
Gate-Regeln: KI aus. Schreibe review(claim). Eine Behauptung besagt "Modell A schlägt Modell B" und kommt mit dem Verlust jedes Seeds jedes Modells und dem Anteil des Testdatensatzes in den Trainingsdaten. In der Reihenfolge:
- Wenn mehr als 10% des Testdatensatzes in den Trainingsdaten waren, gib "leaked" zurück: kein Score darauf kann vertraut werden.
- Wenn eines der Modelle weniger als 2 seeds hat, gib "not shown" zurück: die Streuung ist unbekannt.
- Lasse diff = mean(B) - mean(A) (positiv wenn A besser ist) und se = sqrt(var(A) / nA + var(B) / nB), Stichprobenvarianzen (
ddof=1). Gib "shown" zurück wenn diff > 2 se, "contradicted" wenn diff < -2 se, ansonsten "not shown".
Der Check führt deine function auf sechs neuen claims aus, die bei jedem Check unterschiedlich sind, einschließlich der Edge Cases: ein seed, genau 10% Overlap, seeds, die exakt übereinstimmen.
Wörter und Symbole in dieser Lektion
- kontamination (Leckage)
- Test-Elemente, die auch in den Trainingsdaten waren
- seed
- die Zahl, die die Zufallsauswahlen eines Durchlaufs festlegt; ein anderer seed gibt ein anderes Ergebnis
Fülle review. Versuche es bei {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (die aufgezeichneten Breiten 1024 und 512 bei 1,5 Millionen Token).
KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.