Programma Lezione 120 di 250 · Chiamare un vero LLM
Chiamare un vero LLM

Mandare immagini e documenti

I modelli moderni sono multimodali: un turno utente può portare immagini e PDF, non solo testo. È così che costruisci "leggi questo scontrino", "che cosa c'è di sbagliato in questo screenshot", o "estrai i totali da questa fattura". La forma del messaggio che conosci già cambia appena: content diventa una lista di blocchi, e accanto ai tuoi blocchi text aggiungi blocchi image o document.

Un blocco immagine porta i byte in base64, con l'indicazione del suo tipo di media:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

Un PDF viaggia in un blocco document con tipo di media application/pdf. Puoi alternare i blocchi liberamente, quindi un solo turno utente può essere "ecco l'immagine, ora rispondi a questo":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Quando la visione batte l'OCR? L'OCR classico trasforma i pixel in un flusso piatto di caratteri e perde l'impaginazione. Un modello con visione legge i pixel e ragiona sulla struttura: sa distinguere un totale da un subtotale, seguire un modulo a due colonne, o leggere una nota scritta a mano, tutto in un passo. Il compromesso è costo e determinismo: le immagini sono tanti token, e vuoi comunque che sia il tuo codice a validare qualunque cosa torni. Lo schema per il resto della tua carriera: il modello legge i pixel; il tuo codice deterministico garantisce comunque la forma.

Costruirai il costruttore della richiesta: valida le immagini, ordina i blocchi, e assembla esattamente il turno utente.

Tocca a te

Scrivi build_vision_message(prompt, images) che restituisce un dict di turno utente {"role": "user", "content": [...]}. Ogni elemento di images è una tupla (media_type, data). Regole: (1) rifiuta l'intera chiamata con un ValueError se non ci sono immagini, se ne vengono date più di 4, se una stringa data è vuota, o se un media_type non è nella lista ammessa {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Metti prima ogni blocco immagine, in ordine, poi un solo blocco di testo con il prompt alla fine. Ogni blocco immagine è {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} e il blocco di testo è {"type": "text", "text": prompt}.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.