Conteúdo do curso Lição 120 de 250 · Chamando um LLM Real
Chamando um LLM Real

Enviando imagens e documentos

Modelos modernos são multimodais: um turno do usuário pode carregar imagens e PDFs, não apenas texto. É assim que você constrói "leia este recibo", "o que está errado neste print" ou "extraia os totais desta fatura". O formato da mensagem que você já conhece quase não muda: content se torna uma lista de blocos, e ao lado dos seus text blocos você adiciona blocos image ou document.

Um bloco de imagem carrega os bytes como base64, marcado com seu tipo de mídia:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

A PDF rides em um bloco document com tipo de mídia application/pdf. Você intercala blocos livremente, então um único turno do usuário pode ser "aqui está a imagem, agora responda isso":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

Quando a visão vence o OCR?O OCR clássico transforma pixels em um fluxo plano de caracteres e perde o layout. Um modelo de visão lê os pixels eraciocina sobre a estrutura: ele pode distinguir um total de um subtotal, seguir um formulário de duas colunas ou ler uma nota escrita à mão, tudo em um passo. O compromisso é custo e determinismo: imagens são muitos tokens, e você ainda quer que seu próprio código valide o que vier de volta. O padrão para o resto da sua carreira: o modelo lê os pixels; seu código determinístico ainda garante a forma.

Você vai construir o construtor de requisição: valide as imagens, ordene os blocos e monte o turno exato do usuário.

Sua vez

Escreva build_vision_message(prompt, images) que retorna um dict de turno de usuário {"role": "user", "content": [...]}. Cada item em images é uma tupla (media_type, data). Regras: (1) rejeite a chamada inteira com um ValueError se não houver imagens, se mais de 4 imagens forem dadas, se qualquer string data estiver vazia, ou se qualquer media_type não estiver na allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Coloque cada bloco de imagem primeiro, em ordem, depois um único bloco de texto com o prompt por último. Cada bloco de imagem é {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} e o bloco de texto é {"type": "text", "text": prompt}.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.