Enviar imágenes y documentos
Los modelos modernos son multimodales: un turno del usuario puede llevar imágenes y PDF, no solo texto. Así es como construyes "lee este tique", "qué está mal en esta captura de pantalla" o "saca los totales de esta factura". La forma del mensaje que ya conoces apenas cambia: content se convierte en una lista de bloques, y junto a tus bloques text añades bloques image o document.
Un bloque de imagen lleva los bytes en base64, etiquetados con su tipo de medio:
{"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}Un PDF viaja en un bloque document con el tipo de medio application/pdf. Puedes intercalar bloques libremente, así que un solo turno del usuario puede ser "aquí tienes la imagen, ahora responde a esto":
{"role": "user", "content": [
{"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
{"type": "text", "text": "What store issued this receipt?"}
]}¿Cuándo gana la visión al OCR? El OCR clásico convierte los píxeles en un flujo plano de caracteres y pierde la maquetación. Un modelo de visión lee los píxeles y razona sobre la estructura: puede distinguir un total de un subtotal, seguir un formulario de dos columnas o leer una nota escrita a mano, todo en un paso. El inconveniente es el coste y que no es determinista: las imágenes son muchos tokens, y sigues queriendo que tu propio código valide lo que vuelva. El patrón para el resto de tu carrera: el modelo lee los píxeles; tu código determinista sigue garantizando la forma.
Vas a construir el constructor de la petición: validar las imágenes, ordenar los bloques y montar el turno del usuario exacto.
Escribe build_vision_message(prompt, images), que devuelve un diccionario de turno del usuario {"role": "user", "content": [...]}. Cada elemento de images es una tupla (media_type, data). Reglas: (1) rechaza toda la llamada con un ValueError si no hay imágenes, si se dan más de 4, si alguna cadena data está vacía, o si algún media_type no está en la lista de permitidos {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Pon primero todos los bloques de imagen, en orden, y luego un solo bloque de texto con el prompt al final. Cada bloque de imagen es {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} y el bloque de texto es {"type": "text", "text": prompt}.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.