KI Capstone: dein Code steuert ein On-Device LLM
Das ist das Abschlussprojekt, und du bist die Architektin. Der ganze Kurs hat auf eine Idee hingearbeitet: Dein Python dirigiert das Modell. Das LLM ist nur eine Komponente, die du aufrufst -> dein Code entscheidet, welche Daten es sieht, wie die Anfrage geformt ist und was passiert, wenn kein Modell geladen ist. Du baust diese Orchestrierung aus einer fast leeren Datei.
Jede echte KI-Funktion ist dieselbe Schleife. Dein Code macht die verlässliche Arbeit, das Modell die Formulierung:
- Berechne die Fakten in pandas. Code rechnet exakt; ein Modell nicht. Also kommen Zeilenzahl, Summe, Durchschnitt und größte Kategorie aus einem DataFrame, nie aus dem LLM. Nur so vermeidest du halluzinierte Zahlen.
- Form die Anfrage selbst. Eine wiederverwendbare Prompt-Vorlage hält die Systemanweisung (wer das Modell sein soll) getrennt von der Nutzernachricht (was es tun soll) und setzt sie dann zu einem String zusammen, der mit einer Zugmarkierung endet, damit das Modell weiß, wo es zu schreiben anfängt.
- Hab immer einen Offline-Weg. Das Modell auf dem Gerät braucht WebGPU und ist nicht deterministisch, also schreibst du auch einen regelbasierten Generator, der aus denselben Fakten einen Satz macht. Die Funktion arbeitet auch ganz ohne Modell.
Was du baust
Zwei Funktionen, von Grund auf. build_prompt(system, user) gibt einen sauberen String zurück, der beide Teile enthält und mit Assistant: endet. insight(df) berechnet die Statistiken einer eingebetteten Ausgabentabelle und gibt eine Zeile in einfachem Englisch zurück, die deine größte Kategorie und die Summe nennt. Eine kleine Hilfsfunktion spend_stats(df) erledigt die pandas-Arbeit, damit Bericht und Erkenntnis aus denselben Zahlen lesen.
Der KI-Schritt (probier ihn in der App)
Floati lässt sein Modell auf deinem Gerät mit WebLLM auf WebGPU laufen -> kein Konto, kein Schlüssel, keine Cloud, deine Prompts verlassen nie den Rechner. Die App verbindet eine einzige gemeinsame Engine mit window._floatiTutor. Sobald du build_prompt gebaut hast, ist das der echte Aufruf (er liegt außerhalb des Prüfers, weil er eine GPU braucht und nicht deterministisch ist):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Beachte, dass das Modell immer nur den report-String sieht, den dein Python erzeugt hat -> die Zahlen stimmen schon, bevor das Modell spricht. Drück auf Run, um zu sehen, wie deine Offline-Pipeline ihre Statistiken und ihre regelbasierte Erkenntnis ausgibt; dieser ausgegebene Bericht ist genau das, was du dem Modell oben geben würdest. Der Prüfer kontrolliert deine Prompt-Form und dein deterministisches insight, nie eine Modellausgabe.
Baue die Orchestrierung. Das spending DataFrame df ist für dich eingebettet (10 Zeilen, Spalten category und amount). Schreibe drei Dinge: (1) spend_stats(df) -> ein Dictionary mit den Schlüsseln rows, total, average, top_category, top_amount (Summen/Durchschnitte auf 2 Dezimalstellen gerundet, Top-Kategorie nach summiertem Betrag); (2) build_prompt(system, user) -> ein String, der sowohl system und user als auch ends auf Assistant: enthält, damit das Modell von dort weitermacht; (3) insight(df) -> einen nicht leeren englischen String (der regelbasierte Fallback), der die Top-Kategorie benennt und einen TOTAL: <amount> mit 2-stelligen Währungsbeträgen zeigt. Setze dann report = insight(df) und print(report).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.