Gehouden evaluatie, met foutenbalken
Waarom dit ertoe doet Elke keuze die je maakte keek naar de validatiescore, dus het is nu een beetje optimistisch. Eén evaluatie op data die je nooit hebt bekeken, met foutenbalken, is het getal dat je kunt rapporteren.
Kies je FINAL instellingen op basis van wat je ablations lieten zien, maximaal 4 baseline kosten. Train het met seed 0. Geef het daarna één keer een score op de verborgen testset: track.score(model, hidden=True, per_item=True) geeft één getal per testitem, en studio.interval(items) de gemiddelde en een 95% bootstrap interval.
De verborgen set wordt in deze pagina verzonden, dus het is verborgen, niet verzegeld: je zou ernaar kunnen kijken. Het certificaat van de cursus rust niet op zijn geheimhouding; jouw kaart doet dat wel, dus kijk één keer, aan het einde.
Behaal de minimale score (het standaardplan haalt beide): taal, gemiddeld minstens -2.72; afbeeldingen, minstens 0.42.
Woorden en symbolen in deze les
- baseline
- de simpele run waartegen elke verandering wordt gemeten, over dezelfde seeds
- ablation
- one verander naar de basislijn, voer uit over verschillende seeds, om te zien wat het doet
- verborgen testset
- data gescoord één keer, aan het einde, nadat elke keuze was gemaakt
Stel FINAL in, train final en vul validation (de validatiescore), hidden (gemiddelde, laag, hoog) en gap (validatie min verborgen gemiddelde) in.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.