Enviando imagens e documentos
Modelos modernos são multimodais: um turno do usuário pode carregar imagens e PDFs, não apenas texto. É assim que você constrói "leia este recibo", "o que está errado neste print" ou "extraia os totais desta fatura". O formato da mensagem que você já conhece quase não muda: content se torna uma lista de blocos, e ao lado dos seus text blocos você adiciona blocos image ou document.
Um bloco de imagem carrega os bytes como base64, marcado com seu tipo de mídia:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}A PDF rides em um bloco document com tipo de mídia application/pdf. Você intercala blocos livremente, então um único turno do usuário pode ser "aqui está a imagem, agora responda isso":
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}Quando a visão vence o OCR?O OCR clássico transforma pixels em um fluxo plano de caracteres e perde o layout. Um modelo de visão lê os pixels eraciocina sobre a estrutura: ele pode distinguir um total de um subtotal, seguir um formulário de duas colunas ou ler uma nota escrita à mão, tudo em um passo. O compromisso é custo e determinismo: imagens são muitos tokens, e você ainda quer que seu próprio código valide o que vier de volta. O padrão para o resto da sua carreira: o modelo lê os pixels; seu código determinístico ainda garante a forma.
Você vai construir o construtor de requisição: valide as imagens, ordene os blocos e monte o turno exato do usuário.
Escreva build_vision_message(prompt, images) que retorna um dict de turno de usuário {"role": "user", "content": [...]}. Cada item em images é uma tupla (media_type, data). Regras: (1) rejeite a chamada inteira com um ValueError se não houver imagens, se mais de 4 imagens forem dadas, se qualquer string data estiver vazia, ou se qualquer media_type não estiver na allowlist {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Coloque cada bloco de imagem primeiro, em ordem, depois um único bloco de texto com o prompt por último. Cada bloco de imagem é {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} e o bloco de texto é {"type": "text", "text": prompt}.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.