Menos bits: float32, float16 e loss scaling
Por que isso importa Números armazenados em menos bits são mais rápidos de mover e ocupam metade da memória, então modelos grandes treinam e são enviados em números de 16 bits. Mas 16 bits falham de duas formas que você deve saber.
- Overflow: float16 não consegue segurar nada acima de 65,504. Um valor maior vira infinito, e então nan se espalha pelo treinamento.
- Underflow: float16 não consegue segurar valores minúsculos também; qualquer coisa menor que cerca de 3e-8 arredonda para exatamente 0. Gradientes pequenos desaparecem.
Escalonamento de perda
Multiplique a perda por um número grande S (digamos, 1,024) antes do backward pass, para que cada gradiente seja S vezes maior e fique acima da linha de underflow. Converta para float16, depois divida por S novamente em float32 antes da atualização. Os gradientes sobrevivem.
Os próprios checkpoints gravados do curso são armazenados em float16 exatamente por esse motivo: metade do tamanho.
A maioria dos modelos grandes hoje treina em um terceiro formato, bfloat16: 16 bits como float16, mas ele mantém o alcance do float32 (até cerca de 3e38) e abre mão da precisão em vez disso (cerca de 3 dígitos significativos). Overflow e underflow param de ser problemas na maioria das vezes, então loss scaling raramente é necessário com ele; o preço é o arredondamento, por isso os weights e o update ainda são mantidos em float32.
Palavras e símbolos nesta lição
- float16 Números de
- 16-bit: metade da memória, overflow acima de 65,504, valores minúsculos viram 0
- RECORDED
- Uma execução real do curso foi treinada uma vez e enviada para você estudar
Escreva to_f16(g) (converta para float16 e de volta para float32) e scaled_to_f16(g, S) (multiplique por S, converta, converta de volta, divida por S). Defina lost_plain e lost_scaled para a fração dos pequenos gradientes fornecidos que se tornam exatamente zero em cada direção.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.