シラバス レッスン 250 中 120 · 本物の LLM を呼ぶ
本物の LLM を呼ぶ

画像と文書を送る

今のモデルはマルチモーダルです:user ターンはテキストだけでなく、画像や PDF も運べます。「このレシートを読んで」「このスクリーンショットのどこがおかしいの」「この請求書から合計を取り出して」はこうして作ります。もう知っているメッセージの形はほとんど変わりません:content がブロックのリストになり、text ブロックと並べて image や document のブロックを加えるだけです。

画像ブロックは、メディアタイプのタグを付けたうえで、バイト列を base64 として運びます:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

PDF はメディアタイプ application/pdf の document ブロックに乗ります。ブロックは自由に混ぜられるので、1 つの user ターンを「これが画像です、では答えてください」にできます:

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

ビジョンが OCR に勝つのはいつ?古典的な OCR は、ピクセルを平らな文字の流れに変えてレイアウトを失います。ビジョンモデルはピクセルを読み、さらに構造について推論します:合計と小計を見分け、2 段組みのフォームをたどり、手書きのメモを読むことを、すべて 1 回でできます。引き換えになるのはコストと決定性です:画像はたくさんのトークンになりますし、返ってきたものは何であれ自分のコードで検証したいものです。これからの仕事人生ずっと使えるパターン:ピクセルを読むのはモデル、形を保証するのは相変わらずあなたの決定的なコード。

リクエストのコンストラクターを作ります:画像を検証し、ブロックを並べ、正確な user ターンを組み立てます。

あなたの番

user ターンの辞書 {"role": "user", "content": [...]} を 1 つ返す build_vision_message(prompt, images) を書いてください。images の各要素は (media_type, data) のタプルです。ルール:(1) 画像が 1 つもない、画像が 4 つより多い、空の data 文字列がある、または許可リスト {"image/png", "image/jpeg", "image/webp", "image/gif"} にない media_type がある場合は、呼び出し全体を ValueError で拒否します。(2) すべての画像ブロックを順番どおりに先に置き、それからプロンプトを入れたテキストブロックを 1 つ最後に置きます。各画像ブロックは {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}}、テキストブロックは {"type": "text", "text": prompt} です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。