سرفصل‌ها درس 119 از 250 · فراخوانی یک LLM واقعی
فراخوانی یک LLM واقعی

پیاده‌سازی جریان توکن

وقتی پاسخ را به‌صورت استریم ارسال می‌کنید، مدل جواب را به‌جای یک بارگذاری بزرگ، به‌صورت مجموعه‌ای از رویدادهای کوچک می‌فرستد تا بتوانید متن را حین تایپ شدن نمایش دهید. SDK یک ایتراتور تمیز از قطعات متن در اختیارتان می‌گذارد، اما در زیرساخت، جریان رویدادهای تایپ‌شده را مدیریت می‌کند: a message_start، سپس بسیاری content_block_delta هر رویداد یک مقدار کوچک را حمل می‌کند:، سپس رویدادهای فراوان text_delta، با content_block_stop و message_stop نشانگرها در اطراف آن‌ها. برای بازسازی پاسخ کامل، تنها تغییرات متنی را نگه می‌دارید و آن‌ها را به هم متصل می‌کنید.

نسخهٔ واقعی و دوستانه به این شکل است (فقط برای نمایش -> ما این شبکه را فراخوانی نمی‌کنیم):

with client.messages.stream(model="claude-opus-5-5", max_tokens=1024,
                            messages=[{"role": "user", "content": "Hi"}]) as stream:
    for text in stream.text_stream:   # already just the text chunks
        print(text, end="", flush=True)
    final = stream.get_final_message()

آن text_stream یک ابزار کمکی است. در زیر آن، رویدادهای خام شبیه فهرست زیر هستند و جمع‌بندی آن‌ها دقیقاً مهارتی است که این درس تمرین می‌کند. ما جریان را به صورت فهرستی از دیکت‌های رویداد مدل می‌کنیم تا به‌صورت آفلاین اجرا شود:

[
  {"type": "message_start"},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "He"}},
  {"type": "content_block_delta", "delta": {"type": "text_delta", "text": "llo"}},
  {"type": "content_block_stop"},
  {"type": "message_stop"}
]

شما در حال ساختن هستید collect_stream(events). لیست را قدم بزنید و به ترتیب، ... را الحاق کنید text از هر رویدادی که یک content_block_delta که inner delta دارد type == "text_delta". هر رویداد دیگر را نادیده بگیرید -> نشانگرهای چرخهٔ زندگی (message_start, content_block_stop, message_stop) هیچ متنی ندارند و یک دلتای غیرمتنی (مانند یک input_json_delta برای فراخوانی ابزار استریم‌شده) جزئی از پاسخ قابل مشاهده نیست. یک لیست خالی بازمی‌گردد "".

آن را طوری بسازید که دو لیست رویداد مختلف، دو رشتهٔ مختلف را دوباره بسازند، رویدادهای چرخهٔ عمر و غیرمتنی نادیده گرفته شوند، و یک جریان خالی بازگرداند "".

نوبت شما

نوشتن collect_stream(events) که events یک لیست از دیکت‌های رویداد پخش است. به ترتیب، آنها را به هم متصل کنید، text هر {"type": "content_block_delta", "delta": {"type": "text_delta", "text": ...}} رویداد. سایر رویدادها را نادیده بگیرید (نشانگرهای چرخهٔ زندگی مانند message_start/content_block_stop، و دلتاهای غیرمتنی). بازگردانید "" برای یک استریم خالی.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.