강의 계획 레슨 250개 중 119번째 · 진짜 LLM 호출하기
진짜 LLM 호출하기

토큰 스트림 접기

응답을 스트리밍하면 모델은 큰 페이로드 하나 대신 작은 이벤트들의 나열로 답을 보내서, 타이핑되는 대로 글을 보여 줄 수 있어요. SDK는 깔끔한 글 조각 반복자를 주지만, 그 밑에서는 타입이 있는 이벤트 스트림을 접고 있어요: message_start, 그다음 각각 작은 text_delta를 실은 많은 content_block_delta 이벤트, 그 둘레의 content_block_stop과 message_stop 표지. 전체 답을 다시 만들려면 글 델타만 남기고 이어 붙여요.

친절한 진짜 버전은 이렇게 생겼어요(보여 주기만 해요 -> 네트워크는 부르지 않아요):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

그 text_stream은 편의 기능이에요. 그 밑의 날것 이벤트는 아래 리스트처럼 생겼고, 그것을 접는 게 바로 이 레슨이 훈련하는 기술이에요. 오프라인으로 돌도록 스트림을 이벤트 dict의 리스트로 본떠요:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

collect_stream(events)를 만들어요. 리스트를 돌며, 안쪽 delta가 type == "text_delta"인 content_block_delta 이벤트의 text를 모두 순서대로 이어 붙이세요. 다른 모든 이벤트는 건너뛰세요 -> 생애 주기 표지(message_start, content_block_stop, message_stop)에는 글이 없고, 글이 아닌 델타(스트리밍되는 도구 호출의 input_json_delta 같은)는 보이는 답의 일부가 아니에요. 빈 리스트는 ""을 돌려줘요.

서로 다른 두 이벤트 리스트가 서로 다른 두 문자열을 다시 만들고, 생애 주기와 글이 아닌 이벤트는 건너뛰고, 빈 스트림은 ""을 돌려주도록 만드세요.

내 차례

events가 스트리밍 이벤트 dict의 리스트인 collect_stream(events)를 쓰세요. 모든 {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}} 이벤트의 text를 순서대로 이어 붙이세요. 다른 모든 이벤트(message_start/content_block_stop 같은 생애 주기 표지와 글이 아닌 델타)는 건너뛰세요. 빈 스트림에는 ""을 돌려주세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.