Müfredat 250 dersinden 120. · Gerçek bir LLM Çağırma
Gerçek bir LLM Çağırma

Görseller ve belgeler gönderimi

Modern modeller multimodal: bir kullanıcı sırası sadece metin değil, resimler ve PDF'ler de taşıyabilir. "bu fişi oku", "bu ekran görüntüsünde ne yanlış", veya "bu faturadaki toplamları çıkar" gibi komutları bu şekilde oluşturursun. Zaten bildiğin mesaj yapısı neredeyse hiç değişmiyor: content bir blok listesi haline gelir ve text bloklarının yanına image veya document blokları eklersin.

Bir görüntü bloğu, medya türüyle etiketlenmiş olarak baytları base64 şeklinde taşır:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF, application/pdf medya türüyle bir document bloğu içinde yer alır. Blokları özgürce iç içe geçirebilirsin, bu yüzden tek bir kullanıcı sırası "işte görsel, şimdi buna cevap ver" şeklinde olabilir:

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Vizyon ne zaman OCR'ı geçer? Klasik OCR pikselleri düz bir karakter akışına dönüştürür ve düzeni kaybeder. Bir vizyon modeli pikselleri okur ve yapı hakkında akıl yürütür: toplamı bir ara toplamdan ayırt edebilir, iki sütunlu bir formu takip edebilir veya el yazısıyla yazılmış bir notu okuyabilir, bunların hepsini tek adımda yapar. Ödün verilen şey maliyet ve determinizmdir: görüntüler çok fazla token demektir ve dönen her şeyi doğrulamak için hala kendi kodunu kullanmak istersin. Kariyerinin geri kalanı için desen şudur: model pikselleri okur; deterministik kodun hala şekli garanti eder.

İstek kurucusunu oluşturacaksın: görselleri doğrula, blokları sırala ve tam kullanıcı sırasını birleştir.

Senin sıran

Bir kullanıcı sırası dict {"role": "user", "content": [...]} döndüren build_vision_message(prompt, images) yaz. images içindeki her öğe bir (media_type, data) tuple'ıdır. Kurallar: (1) eğer hiç görsel yoksa, 4'ten fazla görsel verilmişse, herhangi bir data dizisi boşsa veya herhangi bir media_type {"image/png", "image/jpeg", "image/webp", "image/gif"} izin listesinde değilse tüm çağrıyı bir ValueError ile reddet. (2) Önce her görsel bloğunu sırasıyla koy, sonra prompt ile birlikte tek bir metin bloğunu en sona ekle. Her görsel bloğu {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} ve metin bloğu {"type": "text", "text": prompt}'dir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.