Modellen op het apparaat
Waarom dit ertoe doetEen model op het apparaat zelf geeft je antwoord zonder dat je woorden je computer of telefoon verlaten. Dat verandert "vertrouw ons met je data" naar "we hadden je data nooit". Dat is hoe de AI polish van de CV Builder en de tutor van deze cursus werken, en je kunt het zelf controleren.
De chef in jouw keuken
A cloud AI is als een restaurant: je geeft je bestelling aan een ober en het koken gebeurt buiten het zicht. Een on-device model is alsof de chef naar jouw keuken komt. De chef moet één keer naar je reizen (dat is de download), maar daarna wordt elke maaltijd thuis gekookt en ziet niemand anders wat je eet.
Model: een groot bestand van getallen (genaamd weights) plus code die deze gebruikt om de volgende woorden van een tekst te voorspellen. "Een model draaien" betekent veel wiskunde doen met die getallen.
Model op het apparaat: een model waarvan de weights naar je apparaat worden gedownload en daar worden uitgevoerd, met gebruik van je eigen processor of graphics chip. Je prompt en het antwoord blijven op het apparaat.
Hoe het werkt in een browser
Floati gebruikt WebLLM, een open-source bibliotheek die taalmodellen binnen een webpagina uitvoert. Drie onderdelen zorgen ervoor dat het werkt:
- WebGPU, een browserfunctie die een pagina toestaat om je grafische chip (GPU) te gebruiken voor snelle berekeningen. Taalmodellen hebben veel berekeningen nodig, dus dit maakt ze bruikbaar in een tabblad.
- Een klein, gecomprimeerd model.De cursusdocent en de CV Builder gebruiken een klein model dat instructies volgt van ongeveer een halve miljard parameters, gecomprimeerd zodat het in een browser past (gecontroleerd oktober 2026).
- De cache van de browser, die de gedownloade weights bewaart zodat het volgende bezoek veel sneller start.
Parameters: de individuele getallen binnen een model. Meer parameters betekent meestal een krachtiger model en een grotere download.
Quantisation: het opslaan van elk getal met minder bits (bijvoorbeeld 4 bits in plaats van 16 of 32). Vergelijk het met het opslaan van een foto met een lagere kwaliteit: veel kleiner, een beetje minder scherp.
Wat reist over het netwerk
Eerlijkheid is hier belangrijk. Het gebruik van een on-device model is niet "geen netwerk helemaal". Twee dingen worden gedownload:
- De bibliotheekcode die het model uitvoert.
- De model weights, die honderden megabytes zijn, worden één keer gedownload en daarna gecachet.
Beide zijn downloads naarje. Wat nooit wordt verzonden is jouw kant: de vragen die je stelt en de tekst die je plakt. De server die de weights hostt leert dat iemand een model heeft gedownload, net als bij het downloaden van elk bestand, maar het ziet nooit je gesprek.
De afwegingen
| Cloud model | On-device model | |
|---|---|---|
| Wie ziet je tekst | De aanbieder | Alleen jouw apparaat |
| Quality | Meestal veel sterker | Goed in kleine, gefocuste taken |
| Gebruik eerst | Instant | Een grote eenmalige download |
| Needs | Een internetverbinding | A browser met WebGPU en genoeg geheugen |
| Werkt offline | No | Ja, eenmaal gedownload |
WebGPU is beschikbaar in de huidige desktopversies van Chrome, Edge en Safari, en in Firefox op sommige systemen (gecontroleerd oktober 2026). Op oudere apparaten of apparaten met weinig geheugen kan het model helemaal niet laden. Daarom heeft de CV Builder van Floati ook een eenvoudige regelgebaseerde suggester die geen model nodig heeft. Wees duidelijk over het verschil: die suggester draait op de eigen server van Floati. Je CV tekst wordt daarheen gestuurd, maar nooit naar een AI bedrijf.
A veelvoorkomende misvatting
"Kleine modellen zijn nutteloos." Een model met een halve miljard parameters zal je roman niet schrijven, maar het is goed in specifieke taken: een zin herformuleren, een hint geven, een paragraaf samenvatten. Voor veel privétaken is een klein lokaal model het juiste hulpmiddel, en een gigantisch cloudmodel is overkill dat je data kost.
Probeer het Open een les met de tutor en open de DevTools van je browser (F12, of Cmd+Option+I op een Mac), dan het Network tabblad. Start de tutor: je ziet grote downloads voor het model. Zodra het geladen is, wis je de lijst en stel je een vraag aan de tutor. Kijk naar de lijst: je ziet misschien een kleine paginateller, maar geen request bevat je vraag of je code.
Samenvatting
- Een on-device model draait op je eigen hardware, dus je prompts en antwoorden verlaten het apparaat nooit.
- In een browser gebruikt dit WebGPU, een klein gekwantiseerd model en de cache; Floati's tutor en CV Builder gebruiken WebLLM op deze manier.
- De code en gewichten worden één keer naar je gedownload; je tekst wordt nooit geüpload.
- De kosten zijn lagere kwaliteit, een grote eerste download en apparaatvereisten.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.