Envoi d'images et de documents
Les modèles modernes sont multimodaux : un tour d'utilisateur peut contenir des images et des PDF, pas seulement du texte. C'est comme ça que tu construis "lis ce reçu", "qu'est-ce qui ne va pas dans cette capture d'écran" ou "extrais les totaux de cette facture". La forme du message que tu connais déjà change à peine : content devient une liste de blocs, et à côté de tes text blocs, tu ajoutes des blocs image ou document.
Un bloc d'image transporte les octets en base64, étiqueté avec son type de média:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}A PDF se trouve dans un bloc document avec le type de média application/pdf. Tu intercales les blocs librement, donc un seul tour d'utilisateur peut être "voici l'image, maintenant réponds à ceci" :
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}Quand la vision bat l'OCR ?L'OCR classique transforme les pixels en un flux plat de caractères et perd la mise en page. Un modèle de vision lit les pixels etraisonne sur la structure : il peut distinguer un total d'un sous-total, suivre un formulaire à deux colonnes, ou lire une note manuscrite, tout en une étape. Le compromis est le coût et le déterminisme : les images sont beaucoup de tokens, et tu veux toujours que ton propre code valide ce qui revient. Le modèle pour le reste de ta carrière : le modèle lit les pixels ; ton code déterministe garantit toujours la forme.
Tu vas construire le constructeur de requête : valider les images, ordonner les blocs et assembler le tour utilisateur exact.
Écris build_vision_message(prompt, images) qui retourne un dictionnaire de tour utilisateur {"role": "user", "content": [...]}. Chaque élément dans images est un tuple (media_type, data). Règles : (1) rejette tout l'appel avec un ValueError s'il n'y a pas d'images, si plus de 4 images sont données, si une chaîne data est vide, ou si un media_type n'est pas dans la liste autorisée {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Mets chaque bloc d'image en premier, dans l'ordre, puis un seul bloc de texte avec le prompt en dernier. Chaque bloc d'image est {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} et le bloc de texte est {"type": "text", "text": prompt}.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.