Stuur beelde en dokumente
Moderne modelle is multimodaal: 'n gebruikerstuk kan prente en PDF's bevat, nie net teks nie. Dit is hoe jy "lees hierdie kwitansie", "wat is fout in hierdie skermkiek" of "haal die totale uit hierdie faktuur" bou. Die boodskapvorm wat jy reeds ken verander skaars: content word 'n lys van blokke, en langs jou text blokke voeg jy image of document blokke by.
'n beeldblok dra die bytes as base64, getik met sy media-tipe:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}A PDF ry in 'n document blok met media tipe application/pdf. Jy weef blokke vrylik in, so 'n enkele gebruikersbeurt kan wees "hier is die beeld, antwoord nou hierdie":
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}Wanneer wen visie oor OCR?Klassieke OCR verander pixels in 'n plat stroom van karakters en verloor die uitleg. 'n Visiemodel lees die pixels en redeneer oor struktuur: dit kan 'n totaal van 'n subtotaal onderskei, 'n twee-kolom vorm volg, of 'n handgeskrewe nota lees, alles in een stap. Die afweging is koste en determinisme: beelde is baie tokens, en jy wil steeds hê jou eie kode moet dit wat terugkom valideer. Die patroon vir die res van jou loopbaan: die model lees die pixels; jou deterministiese kode waarborg steeds die vorm.
Jy gaan die request constructor bou: valideer die images, orden die blocks, en stel die presiese user turn saam.
Skryf build_vision_message(prompt, images) wat een user-turn dict {"role": "user", "content": [...]} teruggee. Elke item in images is 'n (media_type, data) tuple. Reëls: (1) verwerp die hele oproep met 'n ValueError as daar geen beelde is, as meer as 4 beelde gegee word, as enige data string leeg is, of as enige media_type nie in die allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"} is nie. (2) Sit elke beeldblok eerste, in volgorde, dan 'n enkele teksblok met die prompt laaste. Elke beeldblok is {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} en die teksblok is {"type": "text", "text": prompt}.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.