Akış Token Biriktirme
Modern modeller stream cevaplarını: tek bir büyük yanıt yerine, çalışma zamanı sana üretildikleri anda küçük token chunks dizisi sunar. Chat arayüzlerinin metni kelime kelime göstermesinin sebebi budur. Alıcı taraftaki görevin accumulate bu parçaları tam cevaba dönüştürmek, her biri geldiğinde bir işlem yapmak (arayüzü güncelle, token say, duruşu izle) ve ne zaman duracağını bilmektir.
Streaming işlemini düz bir birleştirmeden ayıran iki şey var. İlk olarak, genellikle her bir parça için tetiklenen bir callback gönderirsin parça başına -> canlı yazma efekti bu şekilde çalışır. İkinci olarak, genellikle bir durdurma dizisi olur: "gerçek cevap burada bitiyor, gerisini at" anlamına gelen bir işaretçi. Onu gördüğünde hemen durursun ve yapmazsın durdurma metnini çıktıya dahil etmeyi.
text = ""
for chunk in chunks:
if chunk == stop: # marker reached -> stop, do NOT append it
break
text += chunk
on_token(chunk) # fire the per-chunk callback gerçek bir motor bu parçaları bir ağ akışından üretir; cihaz üzerindeki bir WebLLM motoru bunları engine.chat.completions.create({ stream: true })'den üretir. Burada parçalar sadece sana verilen bir liste olduğu için mantık deterministiktir ve tam birikimi derecelendirebilirsin. Birikim, parça başına geri çağırma ve durdurma işleme ships.
Build consume_stream(chunks, on_token, stop=None). Parçaları gez, her birini çalışan bir stringe ekle ve onun için on_token(chunk) çağır. Eğer stop verilmişse ve bir parça ona eşitse, onu eklemeden önce dur (durma metni hariç) ve durduğunu hatırla. {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} döndür. Durma dizisi yoksa, her parça tüketilir.
Akıştan gelen token parçalarını tam metne biriktiren, tüketilen her parça için on_token(chunk) çağıran, varsa bir durdurma dizisinde duran (durdurma metninin kendisi hariç) ve {"text", "n_tokens", "stopped"} döndüren consume_stream(chunks, on_token, stop=None) yaz. Biriken metin, durdurmaya kadar olan parçaların "".join değerine eşittir; durdurma hariçtir; n_tokens tüketilen parçaları sayar; durdurma yoksa tüm parçalar tüketilir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.