강의 계획 레슨 250개 중 120번째 · 진짜 LLM 호출하기
진짜 LLM 호출하기

이미지와 문서 보내기

현대 모델은 멀티모달이에요: user 차례가 글만이 아니라 그림과 PDF도 실을 수 있어요. "이 영수증을 읽어 줘", "이 스크린숏에서 뭐가 잘못됐어", "이 청구서에서 합계를 뽑아 줘"를 이렇게 만들어요. 이미 아는 메시지 모양은 거의 바뀌지 않아요: content가 블록의 리스트가 되고, text 블록 옆에 image나 document 블록을 더해요.

이미지 블록은 미디어 타입 표시와 함께 바이트를 base64로 실어요:

{"type": "image",
 "source": {"type": "base64", "media_type": "image/png", "data": B64_STRING}}

PDF는 미디어 타입 application/pdf인 document 블록에 실려요. 블록은 자유롭게 섞을 수 있으니, user 차례 하나가 "여기 이미지가 있어, 이제 이것에 답해"가 될 수 있어요:

{"role": "user", "content": [
    {"type": "image", "source": {"type": "base64", "media_type": "image/jpeg", "data": B64}},
    {"type": "text", "text": "What store issued this receipt?"}
]}

언제 비전이 OCR보다 나을까요? 고전적인 OCR은 픽셀을 평평한 글자 흐름으로 바꾸고 배치를 잃어요. 비전 모델은 픽셀을 읽고 그리고 구조에 대해 추론해요: 합계와 소계를 구분하고, 두 단 양식을 따라가고, 손글씨 메모를 읽는 걸 한 단계로 해요. 대가는 비용과 결정성이에요: 이미지는 토큰이 많이 들고, 무엇이 돌아오든 여전히 내 코드가 검증하길 원해요. 남은 경력 내내 쓸 패턴: 모델이 픽셀을 읽고, 내 결정적인 코드가 여전히 모양을 보장해요.

요청 생성기를 만들어요: 이미지를 검증하고, 블록 순서를 정하고, 정확한 user 차례를 조립해요.

내 차례

user 차례 dict 하나 {"role": "user", "content": [...]}를 돌려주는 build_vision_message(prompt, images)를 쓰세요. images의 각 항목은 (media_type, data) 튜플이에요. 규칙: (1) 이미지가 없거나, 4개보다 많거나, 어떤 data 문자열이 비어 있거나, 어떤 media_type이 허용 목록 {"image/png", "image/jpeg", "image/webp", "image/gif"}에 없으면 호출 전체를 ValueError로 거부하세요. (2) 모든 이미지 블록을 순서대로 먼저 두고, 그다음 프롬프트가 담긴 글 블록 하나를 마지막에 두세요. 각 이미지 블록은 {"type": "image", "source": {"type": "base64", "media_type": mt, "data": data}}이고 글 블록은 {"type": "text", "text": prompt}예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.