Lehrplan Lektion 120 von 250 · Ein echtes LLM aufrufen
Ein echtes LLM aufrufen

Bilder und Dokumente senden

Moderne Modelle sind multimodal: ein Benutzerturn kann Bilder und PDFs enthalten, nicht nur Text. So baust du "lies diesen Beleg", "was ist in diesem Screenshot falsch" oder "hole die Summen aus dieser Rechnung". Die Nachrichtenform, die du bereits kennst, ändert sich kaum: content wird zu einer list of blocks, und neben deinen text blocks fügst du image oder document blocks hinzu.

Ein Bildblock trägt die Bytes als base64 und ist mit seinem Medientyp markiert:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF fährt in einem document Block mit dem Medientyp application/pdf. Du verflechtst Blöcke frei, also kann ein einzelner Benutzerzug "hier ist das Bild, beantworte jetzt dies":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Wann schlägt Vision OCR?Klassisches OCR verwandelt Pixel in einen flachen Stream von Zeichen und verliert das Layout. Ein Vision Modell liest die Pixel und denkt über die Struktur nach: es kann eine Summe von einer Zwischensumme unterscheiden, ein zweispaltiges Formular folgen oder eine handgeschriebene Notiz lesen, alles in einem Schritt. Der Kompromiss ist Kosten und Determinismus: Bilder sind viele Tokens, und du willst trotzdem, dass dein eigener Code das validiert, was zurückkommt. Das Muster für den Rest deiner Karriere: das Modell liest die Pixel; dein deterministischer Code garantiert immer noch die Form.

Du wirst den Request-Konstruktor bauen: validiere die Bilder, ordne die Blöcke und setze den exakten User-Turn zusammen.

Du bist dran

Schreibe build_vision_message(prompt, images), das ein Benutzer-Turn-dict {"role": "user", "content": [...]} zurückgibt. Jedes Element in images ist ein (media_type, data)-Tupel. Regeln: (1) lehne den gesamten Aufruf mit einem ValueError ab, wenn keine Bilder vorhanden sind, wenn mehr als 4 Bilder gegeben werden, wenn irgendein data-String leer ist, oder wenn irgendein media_type nicht in der allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"} ist. (2) Setze jeden Bildblock zuerst in der richtigen Reihenfolge, dann einen einzelnen Textblock mit dem Prompt zuletzt. Jeder Bildblock ist {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} und der Textblock ist {"type": "text", "text": prompt}.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.