Label smoothing en kalibratie
Waarom dit ertoe doet Label smoothing wordt vaak verkocht als "het verbetert de kalibratie". Soms doet het dat. Soms maakt het het erger. Meet, ga niet ervan uit.
Label smoothing traint naar doelen zoals 0.91 voor de ware klasse en 0.01 voor elke andere klasse, in plaats van precies 1 en 0. Dat stopt het model met het duwen van zijn vertrouwen naar het uiterste. Als het model overconfident was, helpt dat. Als het al onderconfident was, maakt het dingen erger.
Voorspel eerst, meet dan op dit model.
Woorden en symbolen in deze les
- calibration, ECE
- of de betrouwbaarheid overeenkomt met de nauwkeurigheid; de gewogen gemiddelde kloof
Zet my_prediction op "better" of "worse": zal smoothing 0.1 de ECE hier verlagen? Bereken daarna ece_plain en ece_smooth met de gegeven functies, en zet measured op wat er daadwerkelijk gebeurde.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.