Akumulasi Token Streaming
Model modern stream jawaban mereka: alih-alih satu respons besar, runtime memberikanmu urutan potongan token chunks saat mereka dibuat. Itulah kenapa UI chat menampilkan teks yang muncul kata demi kata. Tugasmu di sisi penerima adalah untuk accumulate potongan tersebut menjadi jawaban lengkap, lakukan sesuatu dengan setiap potongan saat tiba (update UI, hitung token, pantau tanda berhenti), dan tahu kapan harus berhenti.
Dua hal yang membuat streaming lebih dari sekadar join biasa. Pertama, kamu biasanya mengirim callback yang berjalan per chunk -> begitulah cara efek mengetik langsung bekerja. Kedua, kamu sering punya stop sequence: penanda yang berarti "jawaban asli berakhir di sini, buang sisanya". Saat kamu melihatnya kamu langsung berhenti dan kamu tidak memasukkan teks stop ke dalam output.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callbackA engine asli menghasilkan potongan ini dari aliran jaringan; engine WebLLM di perangkat menghasilkan potongan dari engine.chat.completions.create({ stream: true }). Di sini potongan hanya berupa daftar yang kamu terima, jadi logikanya deterministik dan kamu bisa menilai akumulasi yang tepat. Akumulasi, callback per potongan, dan penanganan stop identik dengan apa yang ada di ships.
Bangun consume_stream(chunks, on_token, stop=None). Telusuri chunk, tambahkan setiap chunk ke string yang berjalan dan panggil on_token(chunk) untuknya. Jika stop diberikan dan sebuah chunk sama dengan itu, berhenti sebelum menambahkannya (teks berhenti tidak disertakan) dan ingat bahwa kamu berhenti. Kembalikan {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool}. Tanpa urutan berhenti, setiap chunk dikonsumsi.
Tulis consume_stream(chunks, on_token, stop=None) yang mengumpulkan potongan token yang dialirkan ke teks lengkap, memanggil on_token(chunk) untuk setiap potongan yang dikonsumsi, berhenti pada urutan stop jika ada (tidak termasuk teks stop itu sendiri), dan mengembalikan {"text", "n_tokens", "stopped"}. Teks yang terkumpul sama dengan "".join dari potongan sampai stop; stop tidak disertakan; n_tokens menghitung potongan yang dikonsumsi; tanpa stop, semua potongan dikonsumsi.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.