Programma Les 113 van 250 · Neural-Net Intuition, LLMs & AI Capstone
Neural-Net Intuition, LLMs & AI Capstone

AI Capstone: je code stuurt een on-device LLM aan

Dit is de afsluiting, en jij bent de architect. De hele track is gebouwd naar één idee: je Python orchestreert het model. Het LLM is slechts één component die je aanroept -> jouw code beslist welke data het ziet, hoe de request is gevormd, en wat er gebeurt als er geen model is geladen. Je zult die orchestratie bouwen vanuit een bijna leeg bestand.

Elke echte AI-functie is dezelfde lus. Je code doet het betrouwbare werk, het model doet de formulering:

  • Bereken de feiten in pandas. Code is exact bij rekenkunde; een model is dat niet. Daarom komen het aantal rijen, totaal, gemiddelde en topcategorie uit een DataFrame, nooit uit het LLM. Dit is de enige manier om gehallucineerde getallen te vermijden.
  • Vorm de aanvraag zelf. Een herbruikbaar prompt template houdt de systeeminstructie (wie het model moet zijn) gescheiden van het bericht van de gebruiker (wat het moet doen), en zet deze vervolgens samen in één string die eindigt op een turn marker zodat het model weet waar het moet beginnen met schrijven.
  • Zorg altijd voor een offline pad. Het model op het apparaat heeft WebGPU nodig en is niet-deterministisch, dus schrijf je ook een regelgebaseerde generator die dezelfde feiten omzet in een zin. De functie werkt zelfs zonder model.

Wat je gaat bouwen

Twee functies, vanaf nul. build_prompt(system, user) geeft één schone string terug die beide delen bevat en eindigt op Assistant:. insight(df) berekent de statistieken op een ingebedde uitgaven tabel en geeft een regel in gewoon Engels terug die je grootste categorie en het totaal noemt. Een kleine spend_stats(df) helper doet het pandas werk zodat zowel het rapport als de inzicht uit dezelfde getallen lezen.

De AI-stap (probeer het in de app)

Floati draait zijn model client-side met WebLLM op WebGPU -> geen account, geen sleutel, geen cloud, je prompts verlaten de machine nooit. De app koppelt een enkele gedeelde engine aan window._floatiTutor. Zodra je build_prompt hebt gebouwd, is dit de echte aanroep (het staat buiten de grader omdat het een GPU nodig heeft en niet-deterministisch is):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

Let op dat het model alleen de report string ziet die je Python heeft geproduceerd -> de getallen zijn al correct voordat het model spreekt. Druk op Run om te zien hoe je offline pipeline zijn stats en zijn regelgebaseerde inzicht print; dat geprinte rapport is precies wat je aan het model hierboven zou geven. De grader controleert de vorm van je prompt en je deterministische insight, nooit de output van het model.

Jij bent aan de beurt

Bouw de orchestratie. De spending DataFrame df is voor je ingebed (10 rijen, kolommen category en amount). Schrijf drie dingen: (1) spend_stats(df) -> een dictionary met keys rows, total, average, top_category, top_amount (totalen/gemiddelden afgerond op 2 decimalen, topcategorie op gesommeerd bedrag); (2) build_prompt(system, user) -> één string die zowel system als user en ends op Assistant: bevat zodat het model daar verdergaat; (3) insight(df) -> een niet-lege simpele Engelse string (de regelgebaseerde fallback) die de topcategorie noemt en een TOTAL: <amount> met geld met 2 decimalen toont. Stel daarna report = insight(df) en print(report) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.