Warum die gleiche Mathematik mehrere Male schneller laufen kann
Warum das wichtig ist Dieser Kurs läuft auf jedem Laptop ohne Grafikkarte. Das funktioniert, weil eine matrix multiply langsam oder sehr schnell auf derselben CPU ausgeführt werden kann, und der Kurs nutzt den schnellen Weg.
A Matrixmultiplikation einer (n, k) mal einer (k, m) Matrix kostet etwa 2 mal n mal k mal m Fließkommaoperationen (FLOPs). Bibliotheken namens BLAS erledigen das in sorgfältig abgestimmtem Code, der die Zahlen im schnellsten Speicher der CPU behält und dessen Vektorinstruktionen nutzt. In dem Python dieses Browsers multipliziert einfaches NumPy ohne eine solche Bibliothek; der nnsim.engine.mm des Kurses nutzt stattdessen SciPys BLAS, welcher in den eigenen Tests des Kurses im Browser 2 bis 5 mal schneller gemessen wurde. In dem gewöhnlichen Python eines Laptops nutzt NumPy bereits ein abgestimmtes BLAS, also ist mm dort nicht schneller und kann langsamer sein (etwa 0,4 mal die Geschwindigkeit von @ in einem Test): Die Beschleunigung ist eine Tatsache über diesen Browser, nicht über die Mathematik.
Teile FLOPs durch Sekunden, um die Geschwindigkeit in FLOPs pro Sekunde zu erhalten. Diese eine Zahl, zusammen mit dem FLOP Ledger, lässt dich vorhersagen, wie lange jeder Trainingslauf dauern wird, bevor du ihn startest.
BLAS: Basic Linear Algebra Subprograms, die Standard-Routinen für Vektor- und Matrix-Mathematik.
Wörter und Symbole in dieser Lektion
- BLAS, GFLOP/s
- Schnelle Standard-Mathe-Routinen; Milliarden von Operationen pro Sekunde
Schreibe flops(n, k, m) und gflops_per_s(n, k, m, seconds). Führe dann die Zeitmessung aus und setze my_speedup auf den Wert, wie viel Mal schneller mm als @ hier war (jeder ehrliche gemessene Wert; es hängt von der Maschine ab).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.