流式词元累加
现代模型会流式输出它们的回复:运行时不是给你一个大响应,而是在生成的同时交给你一串小小的词元片段。这就是为什么聊天界面会一个词一个词地显示文字。你在接收端的工作是把这些片段累加成完整的答案,在每个片段到达时对它做点什么(更新界面、数词元、留意停止信号),并知道什么时候该停下。
有两件事让流式处理不只是简单的连接。第一,你通常会传入一个按片段触发的回调,实时打字效果就是这样实现的。第二,你常常有一个停止序列:一个表示"真正的答案到这里结束,丢掉剩下的"的标记。看到它时,你立即停下,并且不把停止文本包含在输出里。
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callback真正的引擎从网络流中产生这些片段;设备端的 WebLLM 引擎从 engine.chat.completions.create({ stream: true }) 中产生它们。这里的片段只是交给你的一个列表,所以逻辑是确定性的,你可以给精确的累加结果评分。累加、按片段的回调和停止处理,都和要上线的完全一样。
构建 consume_stream(chunks, on_token, stop=None)。遍历这些片段,把每一个追加到一个不断增长的字符串上,并为它调用 on_token(chunk)。如果给了 stop,而某个片段等于它,就在追加它之前停下(停止文本被排除在外),并记住你停下了。返回 {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}。没有停止序列时,每个片段都会被消费。
写 consume_stream(chunks, on_token, stop=None),把流式的词元片段累加成完整的文本,为每个被消费的片段调用 on_token(chunk),遇到停止序列时停下(不包括停止文本本身),并返回 {"text", "n_tokens", "stopped"}。累加的文本等于到停止之前的那些片段的 "".join;停止文本被排除在外;n_tokens 计算被消费的片段数;没有停止序列时,所有片段都被消费。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。