课程大纲 第 120 课,共 250 课 · 调用真正的 LLM
调用真正的 LLM

发送图片和文档

现代模型是多模态的:一个用户轮次可以带图片和 PDF,而不只是文本。"读一下这张收据"、"这张截图哪里有问题"、"把这张发票上的总额提取出来"就是这样做出来的。你已经熟悉的消息形状几乎没变:content 变成一个块的列表,在你的 text 块旁边,你再加上 image 或 document 块。

图片块以 base64 携带字节,并标注它的媒体类型:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

PDF 放在媒体类型为 application/pdf 的 document 块里。你可以随意交错排列这些块,所以一个用户轮次可以是"这是图片,现在回答这个问题":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

什么时候视觉比 OCR 更好?经典的 OCR 把像素变成一串平铺的字符,会丢失版面。视觉模型读取像素并且推理结构:它能分辨总计和小计,跟着读一份两栏的表单,或者读懂一张手写便条,一步到位。代价是成本和确定性:图片会占用很多词元,而且你仍然希望由自己的代码来验证返回的东西。在你的整个职业生涯里都适用的模式:模型读取像素;你确定性的代码仍然保证形状。

你要构建请求的构造函数:验证图片,排列各个块,并组装出准确的用户轮次。

轮到你了

写 build_vision_message(prompt, images),返回一个用户轮次字典 {"role": "user", "content": [...]}。images 里的每一项是一个 (media_type, data) 元组。规则:(1) 如果没有图片、给了超过 4 张图片、任何 data 字符串为空,或任何 media_type 不在允许列表 {"image/png", "image/jpeg", "image/webp", "image/gif"} 里,就用 ValueError 拒绝整个调用。(2) 先按顺序放所有图片块,最后放一个带提示词的文本块。每个图片块是 {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}},文本块是 {"type": "text", "text": prompt}。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。