Vul de lege plek in (gemaskeerde voorspelling)
Waarom dit ertoe doet De eenvoudigste manier om een taak te maken van ongelabelde data: verberg een deel ervan en vraag het netwerk het in te vullen. Taalmodellen worden precies zo getraind (verberg het volgende woord); beeldmodellen verbergen stukjes. Om een gat goed te vullen, moet een netwerk begrijpen wat eromheen staat.
Verberg een stukje van 4 × 4 midden in elke foto. Het netwerk ziet het venster van 8 × 8 eromheen (de andere 48 pixels, × 3 kleuren) en voorspelt de 16 verborgen pixels (× 3). Het verlies is de gemiddelde kwadratische fout. Nergens labels: de foto is zijn eigen antwoordsleutel.
Twee eenvoudige invullingen om te verslaan: de gemiddelde kleur van de foto (fout ongeveer 0.035) en het gemiddelde van de pixels vlak rond het gat (ongeveer 0.019). Een netwerk dat de tweede verslaat, heeft iets geleerd over hoe vormen en licht doorlopen.
Woorden en symbolen in deze les
- gemaskeerde voorspelling
- een deel van de invoer verbergen en het netwerk trainen om het in te vullen
Schrijf de body van de training loop (400 stappen van 64 foto's). Geef een validatiefout onder 0.017 door.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.