Silabus Pelajaran 120 dari 250 · Memanggil LLM Asli
Memanggil LLM Asli

Mengirim gambar dan dokumen

Model modern itu multimodal: giliran user bisa bawa gambar dan PDF, bukan cuma teks. Begini cara kamu bikin "baca struk ini", "apa yang salah di screenshot ini", atau "ambil total dari faktur ini". Bentuk pesan yang sudah kamu tahu hampir tidak berubah: content jadi list of blocks, dan di samping text blocks kamu, kamu tambah blok image atau document.

Blok gambar membawa byte sebagai base64, ditandai dengan tipe medianya:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF ada di dalam blok document dengan tipe media application/pdf. Kamu bisa menyisipkan blok secara bebas, jadi satu giliran pengguna bisa jadi "ini gambarnya, sekarang jawab ini":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Kapan vision mengalahkan OCR?OCR klasik mengubah piksel menjadi aliran karakter datar dan kehilangan tata letaknya. Model vision membaca piksel dan berpikir tentang struktur: ia bisa membedakan total dari subtotal, mengikuti formulir dua kolom, atau membaca catatan tulisan tangan, semua dalam satu langkah. Kelemahannya adalah biaya dan determinisme: gambar adalah banyak token, dan kamu tetap ingin kodemu memvalidasi apa pun yang kembali. Pola untuk sisa kariermu: model membaca piksel; kodemu yang deterministik tetap menjamin bentuknya.

Kamu akan membangun request constructor: validasi gambar, urutkan blok, dan rakit turn pengguna yang tepat.

Giliranku

Tulis build_vision_message(prompt, images) yang mengembalikan satu dict user-turn {"role": "user", "content": [...]}. Setiap item di images adalah tuple (media_type, data). Aturan: (1) tolak seluruh panggilan dengan ValueError jika tidak ada gambar, jika lebih dari 4 gambar diberikan, jika ada string data yang kosong, atau jika ada media_type yang tidak ada di allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Letakkan setiap blok gambar terlebih dahulu, sesuai urutan, lalu satu blok teks dengan prompt terakhir. Setiap blok gambar adalah {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} dan blok teks adalah {"type": "text", "text": prompt}.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.