Modelli sul dispositivo
Perché è importante Un modello sul dispositivo ti risponde senza che le tue parole lascino mai il tuo computer o il tuo telefono. Questo trasforma "fidati di noi con i tuoi dati" in "non abbiamo mai avuto i tuoi dati". È così che funzionano la rifinitura con IA del CV Builder e il tutor di questo corso, e puoi verificarlo tu stesso.
Lo chef nella tua cucina
Un'IA nel cloud è come un ristorante: dai la tua ordinazione a un cameriere e la cucina avviene fuori dalla vista. Un modello sul dispositivo è come avere lo chef che viene nella tua cucina. Lo chef deve venire da te una volta (è il download), ma dopo ogni pasto viene cucinato a casa, e nessun altro vede che cosa mangi.
Modello: un grande file di numeri (chiamati pesi) più codice che li usa per prevedere le parole successive di un testo. "Eseguire un modello" significa fare molti calcoli con quei numeri.
Modello sul dispositivo: un modello i cui pesi vengono scaricati sul tuo dispositivo e girano lì, usando il tuo processore o il tuo chip grafico. Il tuo prompt e la risposta restano sul dispositivo.
Come funziona in un browser
Floati usa WebLLM, una libreria open source che fa girare modelli linguistici dentro una pagina web. Tre pezzi lo fanno funzionare:
- WebGPU, una funzione del browser che permette a una pagina di usare il tuo chip grafico (GPU) per calcoli veloci. I modelli linguistici hanno bisogno di molti calcoli, quindi è questo che li rende usabili in una scheda.
- Un modello piccolo e compresso. Il tutor del corso e il CV Builder usano un piccolo modello che segue istruzioni, di circa mezzo miliardo di parametri, compresso perché entri in un browser (verificato a ottobre 2026).
- La cache del browser, che tiene i pesi scaricati così la visita successiva parte molto più in fretta.
Parametri: i singoli numeri dentro un modello. Più parametri di solito significano un modello più capace, e un download più grande.
Quantizzazione: salvare ogni numero con meno bit (per esempio 4 bit invece di 16 o 32). Come salvare una foto con una qualità più bassa: molto più piccola, un po' meno nitida.
Che cosa viaggia sulla rete
Qui l'onestà conta. Usare un modello sul dispositivo non è "niente rete". Vengono scaricate due cose:
- Il codice della libreria che esegue il modello.
- I pesi del modello, che sono centinaia di megabyte, scaricati una volta e poi tenuti in cache.
Sono entrambi download verso di te. Ciò che non viene mai inviato è la tua parte: le domande che fai e il testo che incolli. Il server che ospita i pesi scopre che qualcuno ha scaricato un modello, un po' come per il download di qualsiasi file, ma non vede mai la tua conversazione.
I compromessi
| Modello nel cloud | Modello sul dispositivo | |
|---|---|---|
| Chi vede il tuo testo | Il fornitore | Solo il tuo dispositivo |
| Qualità | Di solito molto più forte | Bravo nei lavori piccoli e mirati |
| Primo uso | Immediato | Un grande download una tantum |
| Richiede | Una connessione internet | Un browser con WebGPU e abbastanza memoria |
| Funziona offline | No | Sì, una volta scaricato |
WebGPU è disponibile nelle versioni desktop attuali di Chrome, Edge e Safari, e in Firefox su alcuni sistemi (verificato a ottobre 2026). Sui dispositivi più vecchi o con poca memoria il modello potrebbe non caricarsi proprio, ed è per questo che il CV Builder di Floati ha anche un semplice suggeritore basato su regole che non ha bisogno di un modello. Sii chiaro sulla differenza: quel suggeritore gira sul server di Floati, quindi il testo del tuo CV viene inviato lì, anche se mai a un'azienda di IA.
Un equivoco comune
"I modelli piccoli sono inutili." Un modello da mezzo miliardo di parametri non scriverà il tuo romanzo, ma è bravo nei lavori ristretti: riformulare una frase, dare un suggerimento, riassumere un paragrafo. Per molti compiti privati un piccolo modello locale è lo strumento giusto, e un gigantesco modello nel cloud è un eccesso che ti costa i tuoi dati.
Provalo Apri una lezione con il tutor e apri DevTools del tuo browser (F12, o Cmd+Option+I su un Mac), poi la scheda Network. Avvia il tutor: vedrai grandi download per il modello. Quando si è caricato, svuota l'elenco e fai una domanda al tutor. Guarda l'elenco: potresti vedere un piccolo contatore della pagina, ma nessuna richiesta porta la tua domanda o il tuo codice.
Riepilogo
- Un modello sul dispositivo gira sul tuo hardware, quindi i tuoi prompt e le risposte non lasciano mai il dispositivo.
- In un browser questo usa WebGPU, un piccolo modello quantizzato e la cache; il tutor e il CV Builder di Floati usano WebLLM così.
- Codice e pesi vengono scaricati verso di te una volta; il tuo testo non viene mai caricato.
- Il costo è una qualità più bassa, un grande primo download e dei requisiti del dispositivo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.