Programma Lezione 111 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

IA sul dispositivo (senza cloud)

La maggior parte delle app di IA manda il tuo testo al server di un'azienda, che esegue il modello e rimanda la risposta. Questo significa account, chiavi API, bollette, e i tuoi dati che lasciano la tua macchina. Floati rifiuta tutto questo.

Floati esegue la sua IA lato client, proprio nel tuo browser o nella tua app, usando WebLLM sopra WebGPU. WebGPU è uno standard dei browser che permette al codice web di usare la scheda grafica del tuo computer; WebLLM lo usa per far girare in locale un vero modello linguistico (più piccolo). I pesi del modello si scaricano una volta, poi tutto avviene sul tuo dispositivo.

  • Niente chiavi, niente cloud, niente bollette. Nessuna iscrizione.
  • Privato per progetto. I tuoi prompt non lasciano mai la macchina, coerente con la promessa di Floati di funzionare prima di tutto offline.
  • Limiti onesti. I modelli sul dispositivo sono più piccoli e più lenti di quelli giganti ospitati, e hanno bisogno di un browser con WebGPU. Il compromesso è privacy e costo zero.

Con qualsiasi modello parli, ci parli attraverso un prompt. Un'abitudine pulita e riutilizzabile è tenere un'istruzione di sistema (chi deve essere il modello) separata dal messaggio dell'utente, poi metterli insieme in una sola stringa con un ultimo turno chiaro da far continuare al modello:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Finire su Assistant: indica dove il modello deve cominciare a scrivere. Costruirai quel modello di testo adesso; la prossima lezione lo usa per chiamare davvero il modello sul dispositivo.

Tocca a te

Scrivi build_prompt(system, user) che restituisce una sola stringa esattamente in questa forma: System: <system>, poi un a capo, User: <user>, un a capo, poi Assistant: senza niente dopo. Poi assegna prompt = build_prompt("You are concise.", "Summarize my week.").

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.