سرفصل‌ها درس 120 از 250 · فراخوانی یک LLM واقعی
فراخوانی یک LLM واقعی

ارسال تصاویر و اسناد

مدل‌های مدرن چندحسّی هستند: یک نوبت کاربر می‌تواند شامل تصاویر و فایل‌های PDF باشد، نه فقط متن. این‌گونه است که شما «این رسید را بخوان»، «در این اسکرین‌شات چه مشکلی وجود دارد» یا «مجموع‌ها را از این فاکتور استخراج کن» را می‌سازید. شکل پیام همان چیزی است که از قبل می‌شناسید و تقریباً تغییر نمی‌کند: content به فهرستی از بلوک‌ها تبدیل می‌شود، و در کنار ... شما text بلوک‌ها اضافه می‌کنید image یا document بلوک‌ها.

یک بلوک تصویر بایت‌ها را به صورت base64 در خود حمل می‌کند و با نوع رسانه‌ای خود برچسب‌گذاری می‌شود:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

یک PDF در یک document بلوک با نوع رسانه application/pdf. شما بلوک‌ها را آزادانه در هم می‌آمیزید، بنابراین یک نوبت کاربر می‌تواند به این شکل باشد: «تصویر اینجاست، حالا به این پاسخ بده»:

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

چه زمانی بینایی از OCR پیشی می‌گیرد؟ OCR کلاسیک پیکسل‌ها را به یک جریان ساده‌ی حروف تبدیل می‌کند و چیدمان را از دست می‌دهد. یک مدل بینایی پیکسل‌ها را می‌خواند و درباره‌ی ساختار استدلال می‌کند: می‌تواند یک مجموع کل را از یک مجموع جزئی تشخیص دهد، یک فرم دو ستونی را دنبال کند، یا یک یادداشت دست‌نویس را بخواند، همگی در یک مرحله. محدودیت آن هزینه و قابلیت تعیین‌کنندگی است: تصاویر توکن‌های زیادی هستند و شما همچنان می‌خواهید کد خودتان هر آنچه را که بازمی‌گردد اعتبارسنجی کند. الگوی باقی دوران حرفه‌ای شما این است: مدل پیکسل‌ها را می‌خواند؛ کد تعیین‌کننده‌ی شما همچنان شکل را تضمین می‌کند.

شما سازنده درخواست را خواهید ساخت: تصاویر را اعتبارسنجی می‌کنید، بلوک‌ها را مرتب می‌کنید و نوبت دقیق کاربر را مونتاژ می‌کنید.

نوبت شما

نوشتن build_vision_message(prompt, images) که یک دیکشنری کاربر-نوبت را بازمی‌گرداند {"role": "user", "content": [...]}. هر آیتم در images یک (media_type, data) تُپل. قوانین: (۱) با یک ValueError اگر هیچ تصویری وجود نداشته باشد، اگر بیش از ۴ تصویر داده شود، اگر هر data رشته خالی است، یا اگر هر media_type در لیست مجاز نیست {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) هر بلوک تصویر را به ترتیب اول قرار دهید، سپس یک بلوک متن واحد و در آخر یک بلوک با دستورالعمل. هر بلوک تصویر {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} و بلوک متن است {"type": "text", "text": prompt}.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.