Tích lũy token khi streaming
Các mô hình hiện đại stream câu trả lời của chúng: thay vì một phản hồi lớn, runtime đưa bạn một chuỗi các mảnh token nhỏ khi chúng được sinh ra. Đó là lý do giao diện chat hiện văn bản từng chữ một. Nhiệm vụ của bạn ở đầu nhận là tích lũy các mảnh đó thành câu trả lời đầy đủ, làm gì đó với từng mảnh khi nó đến (cập nhật giao diện, đếm token, canh một điểm dừng), và biết khi nào thì thôi.
Hai điều làm cho streaming phức tạp hơn một phép nối đơn giản. Thứ nhất, bạn thường truyền một callback kích hoạt cho mỗi mảnh -> đó là cách hiệu ứng gõ chữ trực tiếp hoạt động. Thứ hai, bạn thường có một chuỗi dừng: một dấu hiệu nghĩa là "câu trả lời thật kết thúc ở đây, bỏ phần còn lại". Khi thấy nó bạn dừng ngay và không đưa văn bản dừng vào đầu ra.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackMột động cơ thật tạo ra các mảnh này từ một luồng mạng; một động cơ WebLLM trên thiết bị tạo ra chúng từ engine.chat.completions.create({ stream: true }). Ở đây các mảnh chỉ là một list được đưa cho bạn, nên logic có tính quyết định và bạn có thể chấm chính xác việc tích lũy. Việc tích lũy, callback cho mỗi mảnh, và cách xử lý điểm dừng là y hệt thứ được đưa vào sản phẩm.
Xây consume_stream(chunks, on_token, stop=None). Đi qua các mảnh, nối từng mảnh vào một chuỗi chạy và gọi on_token(chunk) cho nó. Nếu stop được cho và một mảnh bằng nó, dừng trước khi nối nó (văn bản dừng bị loại ra) và nhớ rằng bạn đã dừng. Trả về {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Khi không có chuỗi dừng, mọi mảnh đều được tiêu thụ.
Viết consume_stream(chunks, on_token, stop=None) tích lũy các mảnh token được stream thành văn bản đầy đủ, gọi on_token(chunk) cho mỗi mảnh được tiêu thụ, dừng ở một chuỗi dừng nếu có (loại chính văn bản dừng ra), và trả về {"text", "n_tokens", "stopped"}. Văn bản tích lũy bằng "".join các mảnh tới điểm dừng; điểm dừng bị loại ra; n_tokens đếm các mảnh được tiêu thụ; không có điểm dừng thì mọi mảnh đều được tiêu thụ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.