Программа курса Урок 120 из 250 · Вызов реальной LLM
Вызов реальной LLM

Отправка изображений и документов

Современные модели мультимодальны: ход пользователя может содержать картинки и PDF, а не только текст. Именно так вы строите запросы "прочитайте этот чек", "что не так на этом скриншоте" или "извлеките итоги из этого счета". Формат сообщения, который вы уже знаете, почти не меняется: content превращается в список блоков, и вместе с вашими text блоками вы добавляете image или document блоки.

Блок изображения несет байты в формате base64, помеченный его типом медиа:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF находится в блоке document с типом медиа application/pdf. Вы свободно чередуете блоки, поэтому один ход пользователя может быть "вот изображение, теперь ответьте на это":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Когда зрение побеждает OCR?Классический OCR превращает пиксели в плоский поток символов и теряет разметку. Модель зрения читает пиксели и рассуждает о структуре: она может отличить итог от промежуточного счета, следовать двухколонной форме или читать рукописную заметку, все за один шаг. Компромисс заключается в стоимости и детерминизме: изображения содержат много токенов, и вы все равно хотите, чтобы ваш собственный код проверял то, что приходит обратно. Паттерн для остальной части вашей карьеры: модель читает пиксели; ваш детерминированный код все еще гарантирует форму.

Вы построите конструктор запроса: проверьте изображения, упорядочите блоки и соберите точный ход пользователя.

Твоя очередь

Напишите build_vision_message(prompt, images), которая возвращает один словарь хода пользователя {"role": "user", "content": [...]}. Каждый элемент в images - это кортеж (media_type, data). Правила: (1) отклоняйте весь вызов с ValueError, если изображений нет, если их больше 4, если какая-то строка data пуста или если какой-то media_type не входит в разрешённый список {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Сначала по порядку все блоки изображений, затем последним один текстовый блок с промптом. Каждый блок изображения - это {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}}, а текстовый блок - {"type": "text", "text": prompt}.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.