Pesi più piccoli (quantizzazione)
Perché è importante I modelli vengono salvati ed eseguiti come numeri, e la maggior parte dei numeri non ha bisogno di 32 bit. Salvare ogni peso in 8 o 4 bit rende un modello 4 o 8 volte più piccolo e spesso più veloce, ed è così che i grandi modelli stanno su portatili e telefoni. La domanda è quanto costa.
Lo schema più semplice, per ogni riga di ogni matrice di pesi: trova il valore assoluto più grande, dividi la riga in 2^(bits - 1) - 1 gradini uguali su ciascun lato dello zero, e arrotonda ogni peso al gradino più vicino. Salva i gradini arrotondati (piccoli interi) e una scala per riga.
Numeri piccolissimi
La riga [0.9, -0.3, 0.05] a 4 bit: 7 gradini per lato; scala 0.9 / 7 = 0.129. 0.9 -> 7 gradini -> 0.9; -0.3 -> -2.33 -> -2 gradini -> -0.257; 0.05 -> 0.39 -> 0 gradini -> 0. Il peso piccolo sparisce.
Parole e simboli di questa lezione
- quantizzazione
- salvare i pesi in meno bit arrotondandoli a pochi gradini
Scrivi quantize_row(w, bits) come descritto. Poi imposta my_guess: la variazione della loss sull'inglese che ti aspetti a 8 e a 4 bit, e riempi measured per 8, 4, 3 e 2 bit usando adapt.quantize (applica la stessa regola a ogni matrice).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.