Waarom dezelfde wiskunde meerdere keren sneller kan draaien
Waarom dit ertoe doet Deze cursus draait op elke laptop zonder videokaart. Dat werkt omdat een matrix multiply langzaam of heel snel kan worden uitgevoerd op dezelfde CPU, en de cursus gebruikt de snelle manier.
A matrix vermenigvuldiging van een (n, k) door een (k, m) matrix kost ongeveer 2 keer n keer k keer m floating-point operaties (FLOPs). Bibliotheken genaamd BLAS doen dit in zorgvuldig afgestemde code die de getallen in het snelste geheugen van de CPU houdt en de vector instructies gebruikt. In de Python van deze browser vermenigvuldigt gewoon NumPy zonder zo'n bibliotheek; de nnsim.engine.mm van de cursus gaat via SciPy's BLAS, wat in de eigen tests van de cursus 2 tot 5 keer sneller was in de browser. Op de gewone Python van een laptop gebruikt NumPy al een afgestemde BLAS, dus mm is daar niet sneller en kan trager zijn (ongeveer 0.4 keer de snelheid van @ in één test): de snelheidswinst is een feit over deze browser, niet over de wiskunde.
Deel FLOPs door seconden om de snelheid in FLOPs per seconde te krijgen. Dat ene getal, samen met de FLOP Ledger, laat je voorspellen hoe lang elke trainingsrun zal duren voordat je deze start.
BLAS: Basic Linear Algebra Subprograms, de standaard snelle routines voor vector en matrix wiskunde.
Woorden en symbolen in deze les
- BLAS, GFLOP/s
- snelle standaard wiskundige routines; miljarden operaties per seconde
Schrijf flops(n, k, m) en gflops_per_s(n, k, m, seconds). Voer dan de timing uit en stel my_speedup in op hoe vaak sneller mm was dan @ hier (elke eerlijke gemeten waarde; het hangt af van de machine).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.