왜 같은 수학이 몇 배 빨리 돌 수 있는가
왜 중요한가 이 강좌는 그래픽 카드 없는 어떤 노트북에서든 돌아요. 그게 되는 건 같은 CPU에서 행렬 곱셈을 느리게도 아주 빠르게도 할 수 있고, 강좌가 빠른 방법을 쓰기 때문이에요.
(n, k) 곱하기 (k, m) 행렬 곱셈은 약 2 곱하기 n 곱하기 k 곱하기 m번의 부동소수점 연산(FLOP)이 들어요. BLAS라는 라이브러리는 숫자를 CPU의 가장 빠른 메모리에 두고 벡터 명령을 쓰는, 꼼꼼히 조정한 코드로 그걸 해요. 이 브라우저의 Python에서 평범한 NumPy는 그런 라이브러리 없이 곱해요. 강좌의 nnsim.engine.mm은 대신 SciPy의 BLAS를 거치는데, 강좌 자체 테스트에서 브라우저에서 2~5배 빠르게 측정됐어요. 노트북의 평범한 Python에서는 NumPy가 이미 조정된 BLAS를 써서, 거기서 mm은 더 빠르지 않고 더 느릴 수도 있어요(한 테스트에서 @ 속도의 약 0.4배): 빨라짐은 수학이 아니라 이 브라우저에 대한 사실이에요.
FLOP을 초로 나누면 초당 FLOP으로 된 속도가 나와요. 그 숫자 하나가 FLOP 장부와 함께, 어떤 훈련 실행이든 시작하기 전에 얼마나 걸릴지 예측하게 해 줘요.
BLAS: Basic Linear Algebra Subprograms, 벡터와 행렬 수학을 위한 표준 빠른 루틴.
이 레슨의 단어와 기호
- BLAS, GFLOP/s
- 빠른 표준 수학 루틴, 초당 수십억 번의 연산
flops(n, k, m)과 gflops_per_s(n, k, m, seconds)를 쓰세요. 그다음 시간 재기를 실행하고 my_speedup을 여기서 mm이 @보다 몇 배 빨랐는지로 설정하세요(정직하게 잰 값이면 무엇이든. 기계에 따라 달라요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.