Mandare immagini e documenti
I modelli moderni sono multimodali: un turno utente può portare immagini e PDF, non solo testo. È così che costruisci "leggi questo scontrino", "che cosa c'è di sbagliato in questo screenshot", o "estrai i totali da questa fattura". La forma del messaggio che conosci già cambia appena: content diventa una lista di blocchi, e accanto ai tuoi blocchi text aggiungi blocchi image o document.
Un blocco immagine porta i byte in base64, con l'indicazione del suo tipo di media:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}Un PDF viaggia in un blocco document con tipo di media application/pdf. Puoi alternare i blocchi liberamente, quindi un solo turno utente può essere "ecco l'immagine, ora rispondi a questo":
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}Quando la visione batte l'OCR? L'OCR classico trasforma i pixel in un flusso piatto di caratteri e perde l'impaginazione. Un modello con visione legge i pixel e ragiona sulla struttura: sa distinguere un totale da un subtotale, seguire un modulo a due colonne, o leggere una nota scritta a mano, tutto in un passo. Il compromesso è costo e determinismo: le immagini sono tanti token, e vuoi comunque che sia il tuo codice a validare qualunque cosa torni. Lo schema per il resto della tua carriera: il modello legge i pixel; il tuo codice deterministico garantisce comunque la forma.
Costruirai il costruttore della richiesta: valida le immagini, ordina i blocchi, e assembla esattamente il turno utente.
Scrivi build_vision_message(prompt, images) che restituisce un dict di turno utente {"role": "user", "content": [...]}. Ogni elemento di images è una tupla (media_type, data). Regole: (1) rifiuta l'intera chiamata con un ValueError se non ci sono immagini, se ne vengono date più di 4, se una stringa data è vuota, o se un media_type non è nella lista ammessa {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Metti prima ogni blocco immagine, in ordine, poi un solo blocco di testo con il prompt alla fine. Ogni blocco immagine è {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} e il blocco di testo è {"type": "text", "text": prompt}.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.