Programma Les 241 van 246 · Module 23: Capstone studio: een model kaart die je kunt draaien
Module 23: Capstone studio: een model kaart die je kunt draaien

Gehouden evaluatie, met foutenbalken

Waarom dit ertoe doet Elke keuze die je maakte keek naar de validatiescore, dus het is nu een beetje optimistisch. Eén evaluatie op data die je nooit hebt bekeken, met foutenbalken, is het getal dat je kunt rapporteren.

Kies je FINAL instellingen op basis van wat je ablations lieten zien, maximaal 4 baseline kosten. Train het met seed 0. Geef het daarna één keer een score op de verborgen testset: track.score(model, hidden=True, per_item=True) geeft één getal per testitem, en studio.interval(items) de gemiddelde en een 95% bootstrap interval.

De verborgen set wordt in deze pagina verzonden, dus het is verborgen, niet verzegeld: je zou ernaar kunnen kijken. Het certificaat van de cursus rust niet op zijn geheimhouding; jouw kaart doet dat wel, dus kijk één keer, aan het einde.

Behaal de minimale score (het standaardplan haalt beide): taal, gemiddeld minstens -2.72; afbeeldingen, minstens 0.42.

Woorden en symbolen in deze les
baseline
de simpele run waartegen elke verandering wordt gemeten, over dezelfde seeds
ablation
one verander naar de basislijn, voer uit over verschillende seeds, om te zien wat het doet
verborgen testset
data gescoord één keer, aan het einde, nadat elke keuze was gemaakt
Jij bent aan de beurt

Stel FINAL in, train final en vul validation (de validatiescore), hidden (gemiddelde, laag, hoog) en gap (validatie min verborgen gemiddelde) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.