Lehrplan Lektion 88 von 156 · Private KI
Private KI

On-device Modelle

Warum das wichtig ist Ein Modell auf dem Gerät antwortet dir, ohne dass deine Worte je deinen Computer oder dein Handy verlassen. Das macht aus "vertrau uns deine Daten an" ein "wir hatten deine Daten nie". So funktionieren der KI-Feinschliff des CV Builders und der Tutor dieses Kurses, und du kannst es selbst prüfen.

Der Koch in deiner Küche

Eine Cloud-KI ist wie ein Restaurant: Du gibst deine Bestellung einem Kellner, und gekocht wird außer Sichtweite. Ein Modell auf dem Gerät ist, als käme der Koch in deine Küche. Der Koch muss einmal zu dir reisen (das ist der Download), aber danach wird jedes Essen zu Hause gekocht, und niemand sonst sieht, was du isst.

Modell: eine große Datei voller Zahlen (genannt Gewichte) plus Code, der sie benutzt, um die nächsten Wörter eines Textes vorherzusagen. "Ein Modell laufen lassen" heißt, mit diesen Zahlen sehr viel zu rechnen.

Modell auf dem Gerät: ein Modell, dessen Gewichte auf dein Gerät geladen werden und dort laufen, mit deinem eigenen Prozessor oder Grafikchip. Dein Prompt und die Antwort bleiben auf dem Gerät.

Wie es in einem Browser funktioniert

Floati benutzt WebLLM, eine Open-Source-Bibliothek, die Sprachmodelle in einer Webseite laufen lässt. Drei Teile machen es möglich:

  • WebGPU, eine Browserfunktion, mit der eine Seite deinen Grafikchip (GPU) für schnelle Rechnungen nutzen kann. Sprachmodelle brauchen sehr viel Rechnerei, also macht das sie in einem Tab überhaupt benutzbar.
  • Ein kleines, komprimiertes Modell. Der Kurs-Tutor und der CV Builder benutzen ein kleines Modell, das Anweisungen folgt, mit etwa einer halben Milliarde Parametern, komprimiert, damit es in einen Browser passt (geprüft im Oktober 2026).
  • Der Cache des Browsers, der die geladenen Gewichte behält, damit der nächste Besuch viel schneller startet.

Parameter: die einzelnen Zahlen in einem Modell. Mehr Parameter heißt meist ein fähigeres Modell, und ein größerer Download.

Quantisierung: jede Zahl mit weniger Bits speichern (zum Beispiel 4 Bits statt 16 oder 32). Wie ein Foto in geringerer Qualität speichern: viel kleiner, ein bisschen weniger scharf.

Was tatsächlich übers Netz geht

Ehrlichkeit ist hier wichtig. Ein Modell auf dem Gerät zu benutzen heißt nicht "gar kein Netz". Zwei Dinge werden heruntergeladen:

  1. Der Bibliothekscode, der das Modell laufen lässt.
  2. Die Modellgewichte, Hunderte Megabyte, einmal heruntergeladen und dann im Cache gehalten.

Beides sind Downloads zu dir. Was nie gesendet wird, ist deine Seite: die Fragen, die du stellst, und der Text, den du einfügst. Der Server, der die Gewichte bereitstellt, erfährt, dass jemand ein Modell heruntergeladen hat, so wie bei jedem Datei-Download, aber er sieht nie dein Gespräch.

Die Abwägungen

Cloud-ModellModell auf dem Gerät
Wer deinen Text siehtDer AnbieterNur dein Gerät
QualitätMeist viel stärkerGut bei kleinen, gezielten Aufgaben
Erste BenutzungSofortEin großer einmaliger Download
BrauchtEine InternetverbindungEinen Browser mit WebGPU und genug Speicher
Funktioniert offlineNeinJa, nach dem Download

WebGPU gibt es in aktuellen Desktop-Versionen von Chrome, Edge und Safari, und in Firefox auf manchen Systemen (geprüft im Oktober 2026). Auf älteren Geräten oder solchen mit wenig Speicher lädt das Modell vielleicht gar nicht, weshalb Floatis CV Builder auch einen einfachen regelbasierten Vorschlagsgeber hat, der kein Modell braucht. Sei dir über den Unterschied im Klaren: Dieser Vorschlagsgeber läuft auf Floatis eigenem Server, also wird dein CV-Text dorthin geschickt, aber nie an eine KI-Firma.

Ein häufiges Missverständnis

"Kleine Modelle sind nutzlos." Ein Modell mit einer halben Milliarde Parametern schreibt dir keinen Roman, aber es ist gut bei engen Aufgaben: einen Satz umformulieren, einen Hinweis geben, einen Absatz zusammenfassen. Für viele private Aufgaben ist ein kleines lokales Modell das richtige Werkzeug, und ein riesiges Cloud-Modell ist ein Overkill, der dich deine Daten kostet.

Probier es aus Öffne eine Lektion mit dem Tutor und dann die DevTools deines Browsers (F12, oder Cmd+Option+I auf dem Mac), dann den Tab Network. Starte den Tutor: Du siehst große Downloads für das Modell. Sobald es geladen ist, leere die Liste und stell dem Tutor eine Frage. Beobachte die Liste: Du siehst vielleicht einen kleinen Seitenzähler, aber keine Anfrage trägt deine Frage oder deinen Code.

Zusammenfassung

  • Ein Modell auf dem Gerät läuft auf deiner eigenen Hardware, also verlassen deine Prompts und Antworten nie das Gerät.
  • Im Browser nutzt das WebGPU, ein kleines quantisiertes Modell und den Cache; Floatis Tutor und CV Builder benutzen WebLLM auf diese Weise.
  • Code und Gewichte werden einmal zu dir heruntergeladen; dein Text wird nie hochgeladen.
  • Der Preis ist geringere Qualität, ein großer erster Download und Anforderungen ans Gerät.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.