Por que a mesma matemática pode rodar várias vezes mais rápido
Por que isso importa Este curso roda em qualquer laptop sem placa de vídeo. Isso funciona porque uma matrix multiply pode ser feita devagar ou muito rápido na mesma CPU, e o curso usa o jeito rápido.
A multiplicação de matrizes de uma (n, k) por uma (k, m) custa cerca de 2 vezes n vezes k vezes m operações de ponto flutuante (FLOPs). Bibliotecas chamadas BLAS fazem isso em código cuidadosamente ajustado que mantém os números na memória mais rápida da CPU e usa suas instruções vetoriais. No Python deste navegador, o NumPy puro multiplica sem tal biblioteca; o nnsim.engine.mm do curso passa pelo BLAS do SciPy em vez disso, que mediu de 2 a 5 vezes mais rápido no navegador nos próprios testes do curso. No Python comum de um laptop, o NumPy já usa um BLAS ajustado, então o mm não é mais rápido lá e pode ser mais lento (cerca de 0.4 vezes a velocidade do @ em um teste): o ganho de velocidade é um fato sobre este navegador, não sobre a matemática.
Divida os FLOPs pelos segundos para obter a velocidade em FLOPs por segundo. Esse número, junto com o FLOP Ledger, permite que você preveja quanto tempo qualquer treinamento vai levar antes de você começar.
BLAS: Subprogramas de Álgebra Linear Básica, as rotinas rápidas padrão para matemática de vetores e matrizes.
Palavras e símbolos nesta lição
- BLAS, GFLOP/s
- rotinas matemáticas padrão rápidas; bilhões de operações por segundo
Escreva flops(n, k, m) e gflops_per_s(n, k, m, seconds). Depois, execute o timing e defina my_speedup para quantas vezes mais rápido mm foi que @ aqui (qualquer valor medido honesto; depende da máquina).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.