तस्वीरें और दस्तावेज़ भेजना
आधुनिक मॉडल multimodal हैं: एक user बारी सिर्फ़ टेक्स्ट नहीं, तस्वीरें और PDFs भी ले जा सकती है। "यह रसीद पढ़ो", "इस screenshot में क्या ग़लत है", या "इस invoice से totals निकालो" ऐसे ही बनते हैं। आपका जाना-पहचाना संदेश आकार मुश्किल से बदलता है: content blocks की सूची बन जाता है, और अपने text blocks के साथ आप image या document blocks जोड़ते हैं।
एक image block bytes को base64 के रूप में ले जाता है, उसके media type के निशान के साथ:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}एक PDF media type application/pdf के साथ document block में जाता है। आप blocks को खुलकर मिला सकते हैं, इसलिए एक अकेली user बारी "यह रही तस्वीर, अब इसका जवाब दो" हो सकती है:
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}vision कब OCR को हराता है? क्लासिक OCR pixels को अक्षरों की एक सपाट धारा में बदलता है और layout खो देता है। एक vision मॉडल pixels पढ़ता है और ढाँचे के बारे में सोचता है: यह total को subtotal से अलग बता सकता है, दो-कॉलम वाले form पर चल सकता है, या हाथ से लिखा नोट पढ़ सकता है, सब एक क़दम में। अदला-बदली लागत और निश्चितता की है: तस्वीरें कई tokens होती हैं, और आप फिर भी चाहते हैं कि जो भी लौटे उसे आपका अपना कोड जाँचे। आपके पूरे करियर का पैटर्न: मॉडल pixels पढ़ता है; आपका निश्चित कोड फिर भी आकार की गारंटी देता है।
आप request बनाने वाला फ़ंक्शन बनाएँगे: तस्वीरें जाँचें, blocks को क्रम दें, और ठीक वही user बारी जोड़ें।
build_vision_message(prompt, images) लिखें जो एक user-बारी dict {"role": "user", "content": [...]} लौटाए। images की हर चीज़ एक (media_type, data) tuple है। नियम: (1) पूरी कॉल को ValueError से अस्वीकार करें अगर कोई तस्वीर नहीं है, अगर 4 से ज़्यादा तस्वीरें दी गई हैं, अगर कोई data स्ट्रिंग ख़ाली है, या अगर कोई media_type अनुमत सूची {"image/png", "image/jpeg", "image/webp", "image/gif"} में नहीं है। (2) हर image block पहले क्रम से रखें, फिर आख़िर में prompt वाला एक अकेला text block। हर image block {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} है और text block {"type": "text", "text": prompt} है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।