Temario Lección 120 de 250 · Llamar a un LLM de verdad
Llamar a un LLM de verdad

Enviar imágenes y documentos

Los modelos modernos son multimodales: un turno del usuario puede llevar imágenes y PDF, no solo texto. Así es como construyes "lee este tique", "qué está mal en esta captura de pantalla" o "saca los totales de esta factura". La forma del mensaje que ya conoces apenas cambia: content se convierte en una lista de bloques, y junto a tus bloques text añades bloques image o document.

Un bloque de imagen lleva los bytes en base64, etiquetados con su tipo de medio:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

Un PDF viaja en un bloque document con el tipo de medio application/pdf. Puedes intercalar bloques libremente, así que un solo turno del usuario puede ser "aquí tienes la imagen, ahora responde a esto":

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

¿Cuándo gana la visión al OCR? El OCR clásico convierte los píxeles en un flujo plano de caracteres y pierde la maquetación. Un modelo de visión lee los píxeles y razona sobre la estructura: puede distinguir un total de un subtotal, seguir un formulario de dos columnas o leer una nota escrita a mano, todo en un paso. El inconveniente es el coste y que no es determinista: las imágenes son muchos tokens, y sigues queriendo que tu propio código valide lo que vuelva. El patrón para el resto de tu carrera: el modelo lee los píxeles; tu código determinista sigue garantizando la forma.

Vas a construir el constructor de la petición: validar las imágenes, ordenar los bloques y montar el turno del usuario exacto.

Tu turno

Escribe build_vision_message(prompt, images), que devuelve un diccionario de turno del usuario {"role": "user", "content": [...]}. Cada elemento de images es una tupla (media_type, data). Reglas: (1) rechaza toda la llamada con un ValueError si no hay imágenes, si se dan más de 4, si alguna cadena data está vacía, o si algún media_type no está en la lista de permitidos {"image/png", "image/jpeg", "image/webp", "image/gif"}. (2) Pon primero todos los bloques de imagen, en orden, y luego un solo bloque de texto con el prompt al final. Cada bloque de imagen es {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}} y el bloque de texto es {"type": "text", "text": prompt}.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.