강의 계획 레슨 250개 중 188번째 · 실무 패턴: 재시도, 비동기, 스트리밍, 메모리
실무 패턴: 재시도, 비동기, 스트리밍, 메모리

스트리밍 토큰 누적

현대 모델은 응답을 스트리밍해요: 큰 응답 하나 대신, 실행 환경이 생성되는 대로 작은 토큰 조각의 나열을 건네줘요. 그래서 채팅 UI는 글이 한 단어씩 나타나는 걸 보여 줘요. 받는 쪽에서 내 일은 그 조각들을 전체 답으로 누적하고, 각 조각이 도착할 때 무언가를 하고(UI 갱신, 토큰 세기, 멈춤 지켜보기), 언제 그만둘지 아는 거예요.

두 가지가 스트리밍을 평범한 잇기 이상으로 만들어요. 첫째, 보통 조각마다 발동하는 콜백을 넘겨요 -> 실시간 타이핑 효과가 그렇게 동작해요. 둘째, 흔히 멈춤 시퀀스가 있어요: "진짜 답은 여기서 끝나니, 나머지는 버려"라는 뜻의 표지예요. 그걸 보면 바로 멈추고, 멈춤 글은 출력에 넣지 않아요.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

진짜 엔진은 네트워크 스트림에서 이 조각들을 내고, 기기 내 WebLLM 엔진은 engine.chat.completions.create({ stream: true })에서 내요. 여기서 조각은 건네받은 리스트일 뿐이라, 로직이 결정적이고 정확한 누적을 채점할 수 있어요. 누적, 조각별 콜백, 멈춤 처리는 내보내는 것과 똑같아요.

consume_stream(chunks, on_token, stop=None)를 만드세요. 조각들을 돌며 각각을 누적 문자열에 덧붙이고 그것에 대해 on_token(chunk)를 부르세요. stop이 주어졌고 조각이 그것과 같으면, 덧붙이기 전에 멈추고(멈춤 글은 제외) 멈췄다는 걸 기억하세요. {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}를 돌려주세요. 멈춤 시퀀스가 없으면 모든 조각이 소비돼요.

내 차례

스트리밍된 토큰 조각을 전체 글로 누적하고, 소비한 조각마다 on_token(chunk)를 부르고, 멈춤 시퀀스가 있으면 거기서 멈추고(멈춤 글 자체는 제외), {"text", "n_tokens", "stopped"}를 돌려주는 consume_stream(chunks, on_token, stop=None)를 쓰세요. 누적된 글은 멈춤까지의 조각들을 "".join 한 것과 같고, 멈춤은 제외되고, n_tokens는 소비한 조각을 세고, 멈춤이 없으면 모든 조각이 소비돼요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.