Kurrikulum Leson 88 van 156 · Privaat KI
Privaat KI

Modelle op die toestel

Waarom dit saak maak 'n model op die toestel antwoord jou sonder dat jou woorde jou rekenaar of foon verlaat. Dit verander "vertrou ons met jou data" na "ons het nooit jou data gehad nie". Dit is hoe die CV Builder se AI polish en hierdie kursus se tutor werk, en jy kan dit self nagaan.

Die sjef in jou kombuis

A cloud AI is soos 'n restaurant: jy gee jou bestelling vir 'n kelner en die kook gebeur buite sig. 'n On-device model is soos om die sjef na jou kombuis te laat kom. Die sjef moet een keer na jou toe reis (dit is die download), maar daarna word elke maaltyd by die huis gekook, en niemand anders sien wat jy eet nie.

Model: 'n groot lêer van getalle (genaam weights) plus kode wat hulle gebruik om die volgende woorde van 'n teks te voorspel. "Running a model" beteken om baie wiskunde met daardie getalle te doen.

On-device model: 'n model waarvan die wegte na jou toestel afgelaai word en daar hardloop, deur jou eie verwerker of grafika-skyf te gebruik. Jou prompt en die antwoord bly op die toestel.

Hoe dit in 'n blavierder werk

Floati gebruik WebLLM, 'n oopbronbiblioteek wat taalmodelle binne 'n webblad laat loop. Drie dele laat dit werk:

  • WebGPU, 'n bladsyefunksie wat 'n bladsyde toelaat om jou grafika-skyf (GPU) vir vinnige wiskunde te gebruik. Taalmodelle het baie wiskunde nodig, so dit is wat hulle in 'n tab gebruikbaar maak.
  • 'n klein, saamgepakte model.Die kursus-tutor en die CV Builder gebruik 'n klein instruksie-volgende model van ongeveer 'n halfmiljard parameters, saamgepak sodat dit in 'n blavier pas (nasien Oktober 2026).
  • Die blutser se cache, wat die afgelaaide gewigte hou sodat die volgende besoek baie vinniger begin.

Parameters: die individuele nommers binne 'n model. Meer parameters beteken gewoonlik 'n meer vermoënde model en 'n groter aflaai.

Quantisation: stoor elke nommer met minder bits (byvoorbeeld 4 bits in plaas van 16 of 32). Dit is soos om 'n foto teen 'n laer kwaliteit te stoor: baie kleiner, 'n bietjie minder skerp.

Wat reis oor die netwerk

Eerlikheid saak hier. Om 'n on-device model te gebruik is nie "geen netwerk glad nie" nie. Twee dinge word afgelaai:

  1. Die bibliotiekkode wat die model hardloop.
  2. Die modelgewigte, wat honderde megabytes is, word een keer afgelaai en dan gekas.

Beide is downloads to jy. Wat nooit gestuur word nie is your kant: die vrae wat jy vra en die teks wat jy plak. Die bediener wat die weights aanbied leer dat iemand 'n model afgelaai het, amper soos om enige lêer af te laai, maar dit sien nooit jou gesprek nie.

Die kompromisse

WolkmodelOp-toestel model
Wie sien jou teksDie verskafferSlegs jou toestel
KwaliteitGewoonlik baie sterkerGoed met klein, gefokusde take
Gebruik eersInstant'n groot eenmalige aflaai
Het nodig'n internetverbinding'n blutser met WebGPU en genoeg geheue
Werk buite aanlynNoJa, sodat dit eenmaal afgelaai is

WebGPU is beskikbaar in huidige rekenaarweergawes van Chrome, Edge en Safari, en in Firefox op sommige stelsels (nasgekontroleer Oktober 2026). Op ouer of lae-geheue toestelle mag die model dalk glad nie laai nie. Daarom het Floati se CV Builder ook 'n eenvoudige reëlgebaseerde suggereerder wat geen model nodig het nie. Wees duidelik oor die verskil: daardie suggereerder loop op Floati se eie bediener. Jou CV-teks word daarheen gestuur, maar nooit na 'n KI-maatskappy nie.

A algemene wanbeleving

"Klein modelle is nutteloos." 'n Model met 'n halfmiljard parameters sal nie jou roman skryf nie, maar dit is goed by smal take: die herformuleer van 'n sin, die gee van 'n wenk, die opsomming van 'n paragraaf. Vir baie private take is 'n klein plaaslike model die regte hulpmiddel, en 'n reuse wolkmodel is oordryf wat jou data kos.

Probeer dit Maak 'n les met die tutor oop en maak jou bl brasileiros DevTools oop (F12, of Cmd+Option+I op 'n Mac), dan die Network tab. Begin die tutor: jy sal groot downloads vir die model sien. Sodat dit gelaai het, wis die lys skoon en vra die tutor 'n vraag. Kyk na die lys: jy mag 'n klein bladsyewyser sien, maar geen versoek bevat jou vraag of jou kode nie.

Opsomming

  • 'n on-device model loop op jou eie hardeware, so jou prompts en antwoorde verlaat nooit die toestel nie.
  • In 'n bl brasileiros gebruik dit WebGPU, 'n klein gekwantiseerde model en die cache; Floati se tutor en CV Builder gebruik WebLLM op hierdie manier.
  • Die kode en gewigte word een keer na jou afgelaai; jou teks word nooit opgelaai nie.
  • Die koste is laer kwaliteit, 'n groot eerste aflaai en toestelvereistes.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.