Müfredat 250 dersinden 188. · Üretim Kalıpları: Retries, Async, Streaming ve Memory
Üretim Kalıpları: Retries, Async, Streaming ve Memory

Akış Token Biriktirme

Modern modeller stream cevaplarını: tek bir büyük yanıt yerine, çalışma zamanı sana üretildikleri anda küçük token chunks dizisi sunar. Chat arayüzlerinin metni kelime kelime göstermesinin sebebi budur. Alıcı taraftaki görevin accumulate bu parçaları tam cevaba dönüştürmek, her biri geldiğinde bir işlem yapmak (arayüzü güncelle, token say, duruşu izle) ve ne zaman duracağını bilmektir.

Streaming işlemini düz bir birleştirmeden ayıran iki şey var. İlk olarak, genellikle her bir parça için tetiklenen bir callback gönderirsin parça başına -> canlı yazma efekti bu şekilde çalışır. İkinci olarak, genellikle bir durdurma dizisi olur: "gerçek cevap burada bitiyor, gerisini at" anlamına gelen bir işaretçi. Onu gördüğünde hemen durursun ve yapmazsın durdurma metnini çıktıya dahil etmeyi.

text = ""
for chunk in chunks:
    if chunk == stop:        # marker reached -> stop, do NOT append it
        break
    text += chunk
    on_token(chunk)          # fire the per-chunk callback

gerçek bir motor bu parçaları bir ağ akışından üretir; cihaz üzerindeki bir WebLLM motoru bunları engine.chat.completions.create({ stream: true })'den üretir. Burada parçalar sadece sana verilen bir liste olduğu için mantık deterministiktir ve tam birikimi derecelendirebilirsin. Birikim, parça başına geri çağırma ve durdurma işleme ships.

ile aynıdır.

Build consume_stream(chunks, on_token, stop=None). Parçaları gez, her birini çalışan bir stringe ekle ve onun için on_token(chunk) çağır. Eğer stop verilmişse ve bir parça ona eşitse, onu eklemeden önce dur (durma metni hariç) ve durduğunu hatırla. {"text": full_text, "n_tokens": chunks_consumed, "stopped": bool} döndür. Durma dizisi yoksa, her parça tüketilir.

Senin sıran

Akıştan gelen token parçalarını tam metne biriktiren, tüketilen her parça için on_token(chunk) çağıran, varsa bir durdurma dizisinde duran (durdurma metninin kendisi hariç) ve {"text", "n_tokens", "stopped"} döndüren consume_stream(chunks, on_token, stop=None) yaz. Biriken metin, durdurmaya kadar olan parçaların "".join değerine eşittir; durdurma hariçtir; n_tokens tüketilen parçaları sayar; durdurma yoksa tüm parçalar tüketilir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.