Silabus Pelajaran 188 dari 250 · Pola Produksi: Retries, Async, Streaming & Memory
Pola Produksi: Retries, Async, Streaming & Memory

Akumulasi Token Streaming

Model modern stream jawaban mereka: alih-alih satu respons besar, runtime memberikanmu urutan potongan token chunks saat mereka dibuat. Itulah kenapa UI chat menampilkan teks yang muncul kata demi kata. Tugasmu di sisi penerima adalah untuk accumulate potongan tersebut menjadi jawaban lengkap, lakukan sesuatu dengan setiap potongan saat tiba (update UI, hitung token, pantau tanda berhenti), dan tahu kapan harus berhenti.

Dua hal yang membuat streaming lebih dari sekadar join biasa. Pertama, kamu biasanya mengirim callback yang berjalan per chunk -> begitulah cara efek mengetik langsung bekerja. Kedua, kamu sering punya stop sequence: penanda yang berarti "jawaban asli berakhir di sini, buang sisanya". Saat kamu melihatnya kamu langsung berhenti dan kamu tidak memasukkan teks stop ke dalam output.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

A engine asli menghasilkan potongan ini dari aliran jaringan; engine WebLLM di perangkat menghasilkan potongan dari engine.chat.completions.create({ stream: true }). Di sini potongan hanya berupa daftar yang kamu terima, jadi logikanya deterministik dan kamu bisa menilai akumulasi yang tepat. Akumulasi, callback per potongan, dan penanganan stop identik dengan apa yang ada di ships.

Bangun consume_stream(chunks, on_token, stop=None). Telusuri chunk, tambahkan setiap chunk ke string yang berjalan dan panggil on_token(chunk) untuknya. Jika stop diberikan dan sebuah chunk sama dengan itu, berhenti sebelum menambahkannya (teks berhenti tidak disertakan) dan ingat bahwa kamu berhenti. Kembalikan {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Tanpa urutan berhenti, setiap chunk dikonsumsi.

Giliranku

Tulis consume_stream(chunks, on_token, stop=None) yang mengumpulkan potongan token yang dialirkan ke teks lengkap, memanggil on_token(chunk) untuk setiap potongan yang dikonsumsi, berhenti pada urutan stop jika ada (tidak termasuk teks stop itu sendiri), dan mengembalikan {"text", "n_tokens", "stopped"}. Teks yang terkumpul sama dengan "".join dari potongan sampai stop; stop tidak disertakan; n_tokens menghitung potongan yang dikonsumsi; tanpa stop, semua potongan dikonsumsi.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.