Conteúdo do curso Lição 118 de 246 · Módulo 10: Redes que veem (CNNs)
Módulo 10: Redes que veem (CNNs)

Menos bits: float32, float16 e loss scaling

Por que isso importa Números armazenados em menos bits são mais rápidos de mover e ocupam metade da memória, então modelos grandes treinam e são enviados em números de 16 bits. Mas 16 bits falham de duas formas que você deve saber.

  • Overflow: float16 não consegue segurar nada acima de 65,504. Um valor maior vira infinito, e então nan se espalha pelo treinamento.
  • Underflow: float16 não consegue segurar valores minúsculos também; qualquer coisa menor que cerca de 3e-8 arredonda para exatamente 0. Gradientes pequenos desaparecem.

Escalonamento de perda

Multiplique a perda por um número grande S (digamos, 1,024) antes do backward pass, para que cada gradiente seja S vezes maior e fique acima da linha de underflow. Converta para float16, depois divida por S novamente em float32 antes da atualização. Os gradientes sobrevivem.

Os próprios checkpoints gravados do curso são armazenados em float16 exatamente por esse motivo: metade do tamanho.

A maioria dos modelos grandes hoje treina em um terceiro formato, bfloat16: 16 bits como float16, mas ele mantém o alcance do float32 (até cerca de 3e38) e abre mão da precisão em vez disso (cerca de 3 dígitos significativos). Overflow e underflow param de ser problemas na maioria das vezes, então loss scaling raramente é necessário com ele; o preço é o arredondamento, por isso os weights e o update ainda são mantidos em float32.

Palavras e símbolos nesta lição
float16
Números de
16-bit: metade da memória, overflow acima de 65,504, valores minúsculos viram 0
RECORDED
Uma execução real do curso foi treinada uma vez e enviada para você estudar
Sua vez

Escreva to_f16(g) (converta para float16 e de volta para float32) e scaled_to_f16(g, S) (multiplique por S, converta, converta de volta, divida por S). Defina lost_plain e lost_scaled para a fração dos pequenos gradientes fornecidos que se tornam exatamente zero em cada direção.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.