Kurrikulum Leson 113 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

AI Capstone: jou kode dryf 'n on-device LLM.

Dit is die finale projek, en jy is die argitek. Die hele kursus het opbou na een idee: jou Python bestuur die model. Die LLM is net een komponent wat jy aanroep -> jou kode besluit watter data dit sien, hoe die versoek gevorm word, en wat gebeur as geen model gelaai is nie. Jy gaan daardie bestuur van 'n byna leë lêer bou.

Elke regte AI-funksie is dieselfde loop. Jou kode doen die betroubare werk, die model doen die woorde:

  • Bereken die feite in pandas. Kode is presies by rekenkunde; 'n model is nie. Die rytelling, totaal, gemiddelde en topkategorie kom dus uit 'n DataFrame, nooit uit die LLM nie. Dit is die enigste manier om verbeeldingryke nommers te vermy.
  • Vorm die versoek self. 'n Herbruikbare prompt-sjabloon hou die stelselinstruksie (wie die model moet wees) apart van die gebruikersboodskap (wat dit moet doen), en voeg hulle dan saam in een string wat eindig op 'n turn marker sodat die model weet waar om te begin skryf.
  • Hou altyd 'n offline pad beskikbaar. Die on-device model het WebGPU nodig en is nie-deterministies nie, so jy skryf ook 'n reël-gebaseerde generator wat dieselfde feite in 'n sin verander. Die funksie werk selfs sonder enige model.

Wat jy gaan bou

Twee funksies, van nuut af. build_prompt(system, user) gee een skoon string terug wat beide dele bevat en op Assistant: eindig. insight(df) bereken die statistieke op 'n ingebedde bestedings tabel en gee 'n gewone Engelse reël terug wat jou grootste kategorie en die totaal benoem. 'n Kleinnekkie spend_stats(df) help met die pandas werk sodat beide die verslag en die insig uit dieselfde nommers lees.

Die AI-stap (probeer dit in die app)

Floati hardloop sy model client-side met WebLLM op WebGPU -> geen rekening, geen sleutel, geen wolk, jou aanroepe verlaat nooit die masjien nie. Die toepassing koppel 'n enkele gedeelde enjin aan window._floatiTutor. Sodat jy build_prompt gebou het, is dit die werklike aanroep (dit leef buite die grader omdat dit 'n GPU nodig het en nie-deterministies is):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

Let op dat die model net die report string sien wat jou Python geproduseer het -> die nommers is reeds korrek voordat die model praat. Druk Run om te sien hoe jou offline pipeline sy statistieke en sy reëlgebaseerde insig uitdruk; daardie gedrukte verslag is presies wat jy aan die model bo moet gee. Die grader kontroleer jou prompt vorm en jou deterministiese insight, nooit enige model uitvoer nie.

Jou beurt

Bou die orkestrasie. Die uitgawes DataFrame df is vir jou ingebed (10 rye, kolomme category en amount). Skryf drie dinge: (1) spend_stats(df) -> 'n dict met sleutels rows, total, average, top_category, top_amount (totale/gemiddeldes afgerond tot 2 desimale, topkategorie volgens som-bedrag); (2) build_prompt(system, user) -> een string wat beide system en user en ends op Assistant: bevat sodat die model daarvan voortgaan; (3) insight(df) -> 'n nie-leë plain-English string (die reël-gebaseerde terugval) wat die topkategorie benoem en 'n TOTAL: <amount> met 2-desimale geld wys. Stel dan report = insight(df) en print(report).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.