Afbeeldingen en documenten verzenden
Moderne modellen zijn multimodaal: een beurt van een gebruiker kan ook afbeeldingen en PDFs bevatten, niet alleen tekst. Zo bouw je "lees deze bon", "wat is er fout in deze screenshot" of "haal de totalen uit deze factuur". De vorm van het bericht die je al kent verandert nauwelijks: content wordt een list van blokken, en naast je text blokken voeg je image of document blokken toe.
Een image block draagt de bytes als base64, getagd met zijn media type:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}A PDF rijdt in een document blok met mediatype application/pdf. Je vlecht blokken vrij in elkaar, dus een enkele beurt van een gebruiker kan zijn "hier is de afbeelding, beantwoord nu dit":
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}Wanneer wint vision het van OCR?Klassieke OCR zet pixels om in een platte stroom van karakters en verliest de lay-out. Een vision model leest de pixels endenkt na over de structuur: het kan een totaal van een subtotaal onderscheiden, een formulier met twee kolommen volgen, of een handgeschreven notitie lezen, alles in één stap. De afweging is kosten en determinisme: afbeeldingen zijn veel tokens, en je wilt nog steeds dat je eigen code valideert wat er terugkomt. Het patroon voor de rest van je carrière: het model leest de pixels; jouw deterministische code garandeert nog steeds de vorm.
Je bouwt de request constructor: valideer de images, orden de blocks en stel de exacte user turn samen.
Schrijf build_vision_message(prompt, images) dat één user-turn dict {"role": "user", "content": [...]} teruggeeft. Elk item in images is een (media_type, data) tuple. Regels: (1) weiger de hele call met een ValueError als er geen afbeeldingen zijn, als er meer dan 4 afbeeldingen worden gegeven, als een data string leeg is, of als een media_type niet in de allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"} staat. (2) Zet elk image block eerst, in volgorde, dan een enkel text block met de prompt als laatste. Elk image block is {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} en het text block is {"type": "text", "text": prompt}.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.