KI auf dem Gerät (Keine Cloud)
Die meisten KI-Apps senden deinen Text an einen Server eines Unternehmens, der das Modell ausführt und die Antwort zurücksendet. Das bedeutet Konten, API keys, Rechnungen und deine Daten verlassen deine Maschine. Floati lehnt das alles ab.
Floati führt seine KI client-side, direkt in deinem Browser oder deiner App, unter Verwendung von WebLLM auf WebGPU. WebGPU ist ein Browserstandard, der es Webcode erlaubt, die Grafikkarte deines Computers zu nutzen. WebLLM nutzt es, um ein echtes (kleineres) Sprachmodell lokal auszuführen. Die Modellgewichte werden einmal heruntergeladen, danach passiert alles auf deinem Gerät.
- Keine Schlüssel, keine Cloud, keine Rechnung. Nichts zum Anmelden.
- Privatsphäre durch Design. Deine Prompts verlassen niemals die Maschine, was zum Offline-First-Versprechen von Floati passt.
- Ehrliche Grenzen. On-device Modelle sind kleiner und langsamer als die riesigen gehosteten Modelle, und sie benötigen einen WebGPU-fähigen Browser. Der Kompromiss ist Privatsphäre und null Kosten.
Egal mit welchem Modell du sprichst, du sprichst mit ihm über einen prompt. Eine saubere, wiederverwendbare Gewohnheit ist es, eine Systemanweisung (wer das Modell sein soll) getrennt von der Nachricht des Benutzers zu halten und sie dann zu einem String zusammenzufügen mit einem klaren letzten Turn für das Modell zum Fortfahren:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Das Ende von Assistant: signalisiert, wo das Modell mit dem Schreiben beginnen soll. Du wirst diese Vorlage jetzt erstellen; die nächste Lektion nutzt sie, um das On-Device-Modell tatsächlich aufzurufen.
Schreibe build_prompt(system, user), das einen einzelnen String in genau dieser Form zurückgibt: System: <system>, dann eine neue Zeile, User: <user>, eine neue Zeile, dann Assistant: mit nichts danach. Setze dann prompt = build_prompt("You are concise.", "Summarize my week.").
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.