Müfredat 250 dersinden 119. · Gerçek bir LLM Çağırma
Gerçek bir LLM Çağırma

Bir Token Akışını Katla

Bir yanıtı akış (stream) olarak gönderdiğinde, model cevabı tek bir büyük paket yerine küçük olaylar dizisi olarak gönderir, böylece metni yazıldığı gibi gösterebilirsin. SDK sana temiz bir metin parçacıkları iteratörü verir, ancak arka planda yazılan olayların akışını katlıyor: bir message_start, sonra her biri küçük bir text_delta taşıyan birçok content_block_delta olayı, bunların etrafında ise content_block_stop ve message_stop işaretçileri bulunur. Tam cevabı yeniden oluşturmak için sadece metin deltalarını tutar ve onları birleştirirsin.

Arkadaş canlısı gerçek versiyon şöyle görünüyor (sadece örnektir -> ağı çağırmıyoruz):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

text_stream bir kolaylıktır. Altında, ham olaylar aşağıdaki liste gibi görünür ve onları katlamak tam olarak bu dersin üzerinde çalıştığı beceridir. Akışı çevrimdışı çalışması için olay sözlüklerinden oluşan bir liste olarak modelliyoruz:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

collect_stream(events) inşa ediyorsun. Listeyi gez ve her bir content_block_delta olan olaydan, içindeki delta type == "text_delta" içeriyorsa, text değerlerini sırasıyla birleştir. Her iki olaydan birini atla -> yaşam döngüsü işaretçileri (message_start, content_block_stop, message_stop) metin içermez ve metin dışı bir delta (akışlı bir araç çağrısı için input_json_delta gibi) görünür cevabın parçası değildir. Boş bir liste "" döndürür.

İki farklı olay listesinin iki farklı dizge oluşturacağı şekilde inşa et, yaşam döngüsü ve metin olmayan olaylar atlansın ve boş bir akış "" döndürsün.

Senin sıran

events bir streaming event dict listesi olduğunda collect_stream(events) yaz. Her {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}} olayının text değerini sırayla birleştir. Diğer tüm olayları (message_start/content_block_stop gibi lifecycle işaretçileri ve metin olmayan deltalar) atla. Boş bir akış için "" döndür.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.