Progetto finale di IA: il tuo codice guida un LLM sul dispositivo
Questo è il progetto finale, e l'architetto sei tu. Tutto il percorso ha costruito verso un'idea: il tuo Python orchestra il modello. L'LLM è solo un componente che chiami -> è il tuo codice a decidere quali dati vede, che forma ha la richiesta, e che cosa succede quando non c'è nessun modello caricato. Costruirai quell'orchestrazione partendo da un file quasi vuoto.
Ogni vera funzione di IA è lo stesso ciclo. Il tuo codice fa il lavoro affidabile, il modello trova le parole:
- Calcola i fatti con pandas. Il codice è esatto con l'aritmetica; un modello no. Quindi il numero di righe, il totale, la media e la categoria principale vengono da un DataFrame, mai dall'LLM. È l'unico modo per evitare numeri allucinati.
- Dai tu la forma alla richiesta. Un modello di prompt riutilizzabile tiene l'istruzione di sistema (chi deve essere il modello) separata dal messaggio dell'utente (che cosa deve fare), poi li mette insieme in una sola stringa che finisce su un segnale di turno così il modello sa dove cominciare a scrivere.
- Abbi sempre una strada offline. Il modello sul dispositivo ha bisogno di WebGPU e non è deterministico, quindi scrivi anche un generatore basato su regole che trasforma gli stessi fatti in una frase. La funzione va anche senza nessun modello.
Che cosa costruirai
Due funzioni, da zero. build_prompt(system, user) restituisce una stringa pulita che contiene entrambe le parti e finisce su Assistant:. insight(df) calcola le statistiche su una tabella di spese incorporata e restituisce una riga in parole semplici che nomina la tua categoria più grande e il totale. Una piccola funzione di supporto spend_stats(df) fa il lavoro con pandas così sia il report sia l'insight leggono dagli stessi numeri.
Il passo di IA (provalo nell'app)
Floati esegue il suo modello lato client con WebLLM su WebGPU -> niente account, niente chiave, niente cloud, i tuoi prompt non lasciano mai la macchina. L'app collega un unico motore condiviso su window._floatiTutor. Una volta costruito build_prompt, questa è la vera chiamata (sta fuori dal correttore perché ha bisogno di una GPU e non è deterministica):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Nota che il modello vede solo e sempre la stringa report prodotta dal tuo Python -> i numeri sono già giusti prima che il modello parli. Premi Run per vedere la tua pipeline offline stampare le statistiche e l'insight basato su regole; quel report stampato è esattamente ciò che passeresti al modello qui sopra. Il correttore controlla la forma del tuo prompt e il tuo insight deterministico, mai l'uscita di un modello.
Costruisci l'orchestrazione. Il DataFrame delle spese df è incorporato per te (10 righe, colonne category e amount). Scrivi tre cose: (1) spend_stats(df) -> un dict con le chiavi rows, total, average, top_category, top_amount (totali e medie arrotondati a 2 decimali, categoria principale per somma degli importi); (2) build_prompt(system, user) -> una stringa che contiene sia system sia user e finisce su Assistant: così il modello continua da lì; (3) insight(df) -> una stringa non vuota in parole semplici (il ripiego basato su regole) che nomina la categoria principale e mostra un TOTAL: <amount> con importi a 2 decimali. Poi assegna report = insight(df) e fai print(report).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.