Chương trình học Bài 188 trên tổng số 250 · Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ
Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ

Tích lũy token khi streaming

Các mô hình hiện đại stream câu trả lời của chúng: thay vì một phản hồi lớn, runtime đưa bạn một chuỗi các mảnh token nhỏ khi chúng được sinh ra. Đó là lý do giao diện chat hiện văn bản từng chữ một. Nhiệm vụ của bạn ở đầu nhận là tích lũy các mảnh đó thành câu trả lời đầy đủ, làm gì đó với từng mảnh khi nó đến (cập nhật giao diện, đếm token, canh một điểm dừng), và biết khi nào thì thôi.

Hai điều làm cho streaming phức tạp hơn một phép nối đơn giản. Thứ nhất, bạn thường truyền một callback kích hoạt cho mỗi mảnh -> đó là cách hiệu ứng gõ chữ trực tiếp hoạt động. Thứ hai, bạn thường có một chuỗi dừng: một dấu hiệu nghĩa là "câu trả lời thật kết thúc ở đây, bỏ phần còn lại". Khi thấy nó bạn dừng ngay và không đưa văn bản dừng vào đầu ra.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

Một động cơ thật tạo ra các mảnh này từ một luồng mạng; một động cơ WebLLM trên thiết bị tạo ra chúng từ engine.chat.completions.create({ stream: true }). Ở đây các mảnh chỉ là một list được đưa cho bạn, nên logic có tính quyết định và bạn có thể chấm chính xác việc tích lũy. Việc tích lũy, callback cho mỗi mảnh, và cách xử lý điểm dừng là y hệt thứ được đưa vào sản phẩm.

Xây consume_stream(chunks, on_token, stop=None). Đi qua các mảnh, nối từng mảnh vào một chuỗi chạy và gọi on_token(chunk) cho nó. Nếu stop được cho và một mảnh bằng nó, dừng trước khi nối nó (văn bản dừng bị loại ra) và nhớ rằng bạn đã dừng. Trả về {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Khi không có chuỗi dừng, mọi mảnh đều được tiêu thụ.

Đến lượt bạn

Viết consume_stream(chunks, on_token, stop=None) tích lũy các mảnh token được stream thành văn bản đầy đủ, gọi on_token(chunk) cho mỗi mảnh được tiêu thụ, dừng ở một chuỗi dừng nếu có (loại chính văn bản dừng ra), và trả về {"text", "n_tokens", "stopped"}. Văn bản tích lũy bằng "".join các mảnh tới điểm dừng; điểm dừng bị loại ra; n_tokens đếm các mảnh được tiêu thụ; không có điểm dừng thì mọi mảnh đều được tiêu thụ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.