Meno bit: float32, float16 e loss scaling
Perché è importante I numeri conservati con meno bit sono più veloci da spostare e occupano metà della memoria, quindi i modelli grandi si addestrano e vengono distribuiti in numeri a 16 bit. Ma 16 bit si rompono in due modi che devi conoscere.
- Overflow: float16 non può contenere niente sopra 65,504. Un valore più grande diventa infinito, e poi i nan si diffondono nell'addestramento.
- Underflow: float16 non può contenere nemmeno valori minuscoli; qualsiasi cosa più piccola di circa 3e-8 si arrotonda esattamente a 0. I gradienti piccoli svaniscono.
Loss scaling
Moltiplica la loss per un numero grande S (diciamo 1,024) prima della passata all'indietro, così ogni gradiente è S volte più grande e resta sopra la linea dell'underflow. Converti in float16, poi dividi di nuovo per S in float32 prima dell'aggiornamento. I gradienti sopravvivono.
I checkpoint registrati del corso sono conservati in float16 proprio per questo motivo: metà della dimensione.
La maggior parte dei modelli grandi oggi si addestra in un terzo formato, bfloat16: 16 bit come float16, ma mantiene l'intervallo di float32 (fino a circa 3e38) e rinuncia invece alla precisione (circa 3 cifre significative). Overflow e underflow smettono per lo più di essere problemi, quindi con lui il loss scaling serve di rado; il prezzo è l'arrotondamento, ed è per questo che i pesi e l'aggiornamento restano comunque in float32.
Parole e simboli di questa lezione
- float16
- numeri a 16 bit: metà della memoria, overflow sopra 65,504, i valori minuscoli diventano 0
- REGISTRATO
- un addestramento vero che il corso ha eseguito una volta e ti fornisce da studiare
Scrivi to_f16(g) (converti in float16 e di nuovo in float32) e scaled_to_f16(g, S) (moltiplica per S, converti, riconverti, dividi per S). Imposta lost_plain e lost_scaled sulla frazione dei piccoli gradienti dati che diventano esattamente zero in ciascun modo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.