课程大纲 第 188 课,共 250 课 · 生产模式:重试、异步、流式与记忆
生产模式:重试、异步、流式与记忆

流式词元累加

现代模型会流式输出它们的回复:运行时不是给你一个大响应,而是在生成的同时交给你一串小小的词元片段。这就是为什么聊天界面会一个词一个词地显示文字。你在接收端的工作是把这些片段累加成完整的答案,在每个片段到达时对它做点什么(更新界面、数词元、留意停止信号),并知道什么时候该停下。

有两件事让流式处理不只是简单的连接。第一,你通常会传入一个按片段触发的回调,实时打字效果就是这样实现的。第二,你常常有一个停止序列:一个表示"真正的答案到这里结束,丢掉剩下的"的标记。看到它时,你立即停下,并且不把停止文本包含在输出里。

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

真正的引擎从网络流中产生这些片段;设备端的 WebLLM 引擎从 engine.chat.completions.create({ stream: true }) 中产生它们。这里的片段只是交给你的一个列表,所以逻辑是确定性的,你可以给精确的累加结果评分。累加、按片段的回调和停止处理,都和要上线的完全一样。

构建 consume_stream(chunks, on_token, stop=None)。遍历这些片段,把每一个追加到一个不断增长的字符串上,并为它调用 on_token(chunk)。如果给了 stop,而某个片段等于它,就在追加它之前停下(停止文本被排除在外),并记住你停下了。返回 {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}。没有停止序列时,每个片段都会被消费。

轮到你了

写 consume_stream(chunks, on_token, stop=None),把流式的词元片段累加成完整的文本,为每个被消费的片段调用 on_token(chunk),遇到停止序列时停下(不包括停止文本本身),并返回 {"text", "n_tokens", "stopped"}。累加的文本等于到停止之前的那些片段的 "".join;停止文本被排除在外;n_tokens 计算被消费的片段数;没有停止序列时,所有片段都被消费。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。