Chương trình học Bài 120 trên tổng số 250 · Gọi một LLM thực thụ
Gọi một LLM thực thụ

Gửi hình ảnh và tài liệu

Các mô hình hiện đại là đa phương thức: một lượt của người dùng có thể chứa hình ảnh và PDF, không chỉ là văn bản. Đây là cách bạn xây dựng "đọc hóa đơn này", "có lỗi gì trong ảnh chụp màn hình này" hoặc "trích xuất tổng số tiền từ hóa đơn này". Cấu trúc tin nhắn bạn đã biết hầu như không thay đổi: content trở thành một danh sách các khối, và bên cạnh các text khối của bạn, bạn thêm các khối image hoặc document.

Một khối hình ảnh mang theo các bytes dưới dạng base64, được gắn thẻ với kiểu phương tiện của nó:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF nằm trong một khối document với loại phương tiện application/pdf. Bạn có thể xen kẽ các khối tự do, vì vậy một lượt của người dùng có thể là "đây là hình ảnh, bây giờ hãy trả lời câu hỏi này":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Khi nào thị giác máy tính vượt trội hơn OCR?OCR truyền thống biến các điểm ảnh thành một chuỗi ký tự phẳng và làm mất bố cục. Một mô hình thị giác đọc các điểm ảnh và suy luận về cấu trúc: nó có thể phân biệt tổng từ tổng phụ, theo dõi biểu mẫu hai cột, hoặc đọc ghi chú viết tay, tất cả chỉ trong một bước. Sự đánh đổi là chi phí và tính xác định: hình ảnh tiêu tốn nhiều token, và bạn vẫn muốn mã của mình xác thực bất cứ thứ gì trả về. Quy luật cho phần còn lại của sự nghiệp của bạn là: mô hình đọc các điểm ảnh; mã xác định của bạn vẫn đảm bảo cấu trúc.

Bạn sẽ xây dựng bộ khởi tạo yêu cầu: kiểm tra các hình ảnh, sắp xếp các khối và lắp ráp lượt của người dùng chính xác.

Đến lượt bạn

Viết build_vision_message(prompt, images) trả về một dict lượt người dùng {"role": "user", "content": [...]}. Mỗi mục trong images là một tuple (media_type, data). Quy tắc: (1) từ chối toàn bộ lệnh gọi bằng một ValueError nếu không có ảnh nào, nếu có hơn 4 ảnh, nếu bất kỳ chuỗi data nào rỗng, hoặc nếu bất kỳ media_type nào không nằm trong danh sách cho phép {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Đặt mọi khối ảnh trước, theo thứ tự, rồi một khối văn bản duy nhất chứa prompt ở cuối. Mỗi khối ảnh là {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} và khối văn bản là {"type": "text", "text": prompt}.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.