스트리밍 토큰 누적
현대 모델은 응답을 스트리밍해요: 큰 응답 하나 대신, 실행 환경이 생성되는 대로 작은 토큰 조각의 나열을 건네줘요. 그래서 채팅 UI는 글이 한 단어씩 나타나는 걸 보여 줘요. 받는 쪽에서 내 일은 그 조각들을 전체 답으로 누적하고, 각 조각이 도착할 때 무언가를 하고(UI 갱신, 토큰 세기, 멈춤 지켜보기), 언제 그만둘지 아는 거예요.
두 가지가 스트리밍을 평범한 잇기 이상으로 만들어요. 첫째, 보통 조각마다 발동하는 콜백을 넘겨요 -> 실시간 타이핑 효과가 그렇게 동작해요. 둘째, 흔히 멈춤 시퀀스가 있어요: "진짜 답은 여기서 끝나니, 나머지는 버려"라는 뜻의 표지예요. 그걸 보면 바로 멈추고, 멈춤 글은 출력에 넣지 않아요.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callback진짜 엔진은 네트워크 스트림에서 이 조각들을 내고, 기기 내 WebLLM 엔진은 engine.chat.completions.create({ stream: true })에서 내요. 여기서 조각은 건네받은 리스트일 뿐이라, 로직이 결정적이고 정확한 누적을 채점할 수 있어요. 누적, 조각별 콜백, 멈춤 처리는 내보내는 것과 똑같아요.
consume_stream(chunks, on_token, stop=None)를 만드세요. 조각들을 돌며 각각을 누적 문자열에 덧붙이고 그것에 대해 on_token(chunk)를 부르세요. stop이 주어졌고 조각이 그것과 같으면, 덧붙이기 전에 멈추고(멈춤 글은 제외) 멈췄다는 걸 기억하세요. {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}를 돌려주세요. 멈춤 시퀀스가 없으면 모든 조각이 소비돼요.
스트리밍된 토큰 조각을 전체 글로 누적하고, 소비한 조각마다 on_token(chunk)를 부르고, 멈춤 시퀀스가 있으면 거기서 멈추고(멈춤 글 자체는 제외), {"text", "n_tokens", "stopped"}를 돌려주는 consume_stream(chunks, on_token, stop=None)를 쓰세요. 누적된 글은 멈춤까지의 조각들을 "".join 한 것과 같고, 멈춤은 제외되고, n_tokens는 소비한 조각을 세고, 멈춤이 없으면 모든 조각이 소비돼요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.