AI Capstone: jou kode dryf 'n on-device LLM.
Dit is die finale projek, en jy is die argitek. Die hele kursus het opbou na een idee: jou Python bestuur die model. Die LLM is net een komponent wat jy aanroep -> jou kode besluit watter data dit sien, hoe die versoek gevorm word, en wat gebeur as geen model gelaai is nie. Jy gaan daardie bestuur van 'n byna leë lêer bou.
Elke regte AI-funksie is dieselfde loop. Jou kode doen die betroubare werk, die model doen die woorde:
- Bereken die feite in pandas. Kode is presies by rekenkunde; 'n model is nie. Die rytelling, totaal, gemiddelde en topkategorie kom dus uit 'n DataFrame, nooit uit die LLM nie. Dit is die enigste manier om verbeeldingryke nommers te vermy.
- Vorm die versoek self. 'n Herbruikbare prompt-sjabloon hou die stelselinstruksie (wie die model moet wees) apart van die gebruikersboodskap (wat dit moet doen), en voeg hulle dan saam in een string wat eindig op 'n turn marker sodat die model weet waar om te begin skryf.
- Hou altyd 'n offline pad beskikbaar. Die on-device model het WebGPU nodig en is nie-deterministies nie, so jy skryf ook 'n reël-gebaseerde generator wat dieselfde feite in 'n sin verander. Die funksie werk selfs sonder enige model.
Wat jy gaan bou
Twee funksies, van nuut af. build_prompt(system, user) gee een skoon string terug wat beide dele bevat en op Assistant: eindig. insight(df) bereken die statistieke op 'n ingebedde bestedings tabel en gee 'n gewone Engelse reël terug wat jou grootste kategorie en die totaal benoem. 'n Kleinnekkie spend_stats(df) help met die pandas werk sodat beide die verslag en die insig uit dieselfde nommers lees.
Die AI-stap (probeer dit in die app)
Floati hardloop sy model client-side met WebLLM op WebGPU -> geen rekening, geen sleutel, geen wolk, jou aanroepe verlaat nooit die masjien nie. Die toepassing koppel 'n enkele gedeelde enjin aan window._floatiTutor. Sodat jy build_prompt gebou het, is dit die werklike aanroep (dit leef buite die grader omdat dit 'n GPU nodig het en nie-deterministies is):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Let op dat die model net die report string sien wat jou Python geproduseer het -> die nommers is reeds korrek voordat die model praat. Druk Run om te sien hoe jou offline pipeline sy statistieke en sy reëlgebaseerde insig uitdruk; daardie gedrukte verslag is presies wat jy aan die model bo moet gee. Die grader kontroleer jou prompt vorm en jou deterministiese insight, nooit enige model uitvoer nie.
Bou die orkestrasie. Die uitgawes DataFrame df is vir jou ingebed (10 rye, kolomme category en amount). Skryf drie dinge: (1) spend_stats(df) -> 'n dict met sleutels rows, total, average, top_category, top_amount (totale/gemiddeldes afgerond tot 2 desimale, topkategorie volgens som-bedrag); (2) build_prompt(system, user) -> een string wat beide system en user en ends op Assistant: bevat sodat die model daarvan voortgaan; (3) insight(df) -> 'n nie-leë plain-English string (die reël-gebaseerde terugval) wat die topkategorie benoem en 'n TOTAL: <amount> met 2-desimale geld wys. Stel dan report = insight(df) en print(report).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.