为什么同样的数学能快上好几倍
为什么重要 这门课能在任何没有显卡的笔记本电脑上运行。之所以可行,是因为同一个 CPU 上的矩阵乘法可以做得很慢,也可以做得很快,而课程用的是快的方式。
一个 (n, k) 矩阵乘以一个 (k, m) 矩阵,大约需要 2 乘 n 乘 k 乘 m 次浮点运算(FLOPs)。叫作 BLAS 的库用精心调校过的代码来做这件事,让数字待在 CPU 最快的内存里,并使用它的向量指令。在这个浏览器的 Python 里,普通的 NumPy 做乘法时没有这样的库;课程的 nnsim.engine.mm 则改走 SciPy 的 BLAS,在课程自己的测试中,它在浏览器里快了 2 到 5 倍。在笔记本电脑上普通的 Python 里,NumPy 已经在用调校过的 BLAS,所以 mm 在那里并不更快,甚至可能更慢(在一次测试中大约是 @ 速度的 0.4 倍):这个加速是关于这个浏览器的事实,而不是关于数学的。
用 FLOPs 除以秒数,就得到以每秒 FLOPs 计的速度。这一个数字,加上 FLOP 账本,能让你在开始任何一次训练之前就预测出它要花多长时间。
BLAS:基础线性代数子程序(Basic Linear Algebra Subprograms),用于向量和矩阵数学的标准快速例程。
本课中的词语和符号
- BLAS、GFLOP/s
- 快速的标准数学例程;每秒十亿次运算
编写 flops(n, k, m) 和 gflops_per_s(n, k, m, seconds)。然后运行计时,并把 my_speedup 设为这里 mm 比 @ 快了多少倍(任何诚实测量出来的值都可以;它取决于机器)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。