المنهج الدراسي الدرس 120 من 250 · استدعاء نموذج لغوي كبير حقيقي
استدعاء نموذج لغوي كبير حقيقي

إرسال الصور والمستندات

النماذج الحديثة متعددة الوسائط: يمكن أن تحتوي دورة المستخدم على صور وملفات PDF، وليس فقط نصا. هذه هي الطريقة التي تبني بها "اقرأ هذا الإيصال"، أو "ما الخطأ في لقطة الشاشة هذه"، أو "استخرج الإجماليات من هذه الفاتورة". شكل الرسالة الذي تعرفه بالفعل لا يتغير إلا قليلا: يصبح content قائمة من الكتل ، وإلى جانب كتل text الخاصة بك، تضيف كتل image أو document.

تحمل كتلة الصورة البايتات بصيغة base64، مع وسم نوع الوسائط الخاص بها:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}
يحتوي

A على ملفات PDF في كتلة document بنوع وسائط application/pdf. يمكنك دمج الكتل بحرية، لذا يمكن أن يكون دور المستخدم الواحد هو "إليك الصورة، أجب على هذا الآن":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

متى يتفوق الرؤية على OCR؟تقوم تقنية OCR الكلاسيكية بتحويل البكسلات إلى تدفق مسطح من الأحرف وتفقد التنسيق. يقرأ نموذج الرؤية البكسلات ويستنتج الهيكل: يمكنه تمييز الإجمالي من الإجمالي الفرعي، أو اتباع نموذج من عمودين، أو قراءة ملاحظة مكتوبة بخط اليد، كل ذلك في خطوة واحدة. المقايضة هي التكلفة والحتمية: الصور هي الكثير من tokens، وما زلت تريد من كودك الخاص التحقق من أي شيء يعود. النمط لبقية مسيرتك المهنية: النموذج يقرأ البكسلات؛ وكودك الحتمي لا يزال يضمن الشكل.

ستقوم ببناء constructor الطلب: تحقق من الصور، رتب الكتل، وجمّع turn المستخدم بدقة.

دورك

اكتب build_vision_message(prompt, images) الذي يعيد قاموس user-turn واحد {"role": "user", "content": [...]}. كل عنصر في images هو tuple من نوع (media_type, data). القواعد: (1) ارفض الاستدعاء بالكامل مع ValueError إذا لم تكن هناك صور، أو إذا تم تقديم أكثر من 4 صور، أو إذا كان أي نص data فارغا، أو إذا كان أي media_type ليس في القائمة المسموحة {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) ضع كل image block أولا، بالترتيب، ثم text block واحد مع prompt في الأخير. كل image block هو {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} و text block هو {"type": "text", "text": prompt}.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.