Programma Les 117 van 246 · Module 10: Netwerken die zien (CNNs)
Module 10: Netwerken die zien (CNNs)

Waarom dezelfde wiskunde meerdere keren sneller kan draaien

Waarom dit ertoe doet Deze cursus draait op elke laptop zonder videokaart. Dat werkt omdat een matrix multiply langzaam of heel snel kan worden uitgevoerd op dezelfde CPU, en de cursus gebruikt de snelle manier.

A matrix vermenigvuldiging van een (n, k) door een (k, m) matrix kost ongeveer 2 keer n keer k keer m floating-point operaties (FLOPs). Bibliotheken genaamd BLAS doen dit in zorgvuldig afgestemde code die de getallen in het snelste geheugen van de CPU houdt en de vector instructies gebruikt. In de Python van deze browser vermenigvuldigt gewoon NumPy zonder zo'n bibliotheek; de nnsim.engine.mm van de cursus gaat via SciPy's BLAS, wat in de eigen tests van de cursus 2 tot 5 keer sneller was in de browser. Op de gewone Python van een laptop gebruikt NumPy al een afgestemde BLAS, dus mm is daar niet sneller en kan trager zijn (ongeveer 0.4 keer de snelheid van @ in één test): de snelheidswinst is een feit over deze browser, niet over de wiskunde.

Deel FLOPs door seconden om de snelheid in FLOPs per seconde te krijgen. Dat ene getal, samen met de FLOP Ledger, laat je voorspellen hoe lang elke trainingsrun zal duren voordat je deze start.

BLAS: Basic Linear Algebra Subprograms, de standaard snelle routines voor vector en matrix wiskunde.

Woorden en symbolen in deze les
BLAS, GFLOP/s
snelle standaard wiskundige routines; miljarden operaties per seconde
Jij bent aan de beurt

Schrijf flops(n, k, m) en gflops_per_s(n, k, m, seconds). Voer dan de timing uit en stel my_speedup in op hoe vaak sneller mm was dan @ hier (elke eerlijke gemeten waarde; het hangt af van de machine).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.