पाठ्यक्रम 250 में से पाठ 118 · एक असली LLM को बुलाना
एक असली LLM को बुलाना

समानांतर tool calls और is_error

पिछले पाठ ने एक tool call सँभाली। पर आधुनिक मॉडल एक साथ कई माँगते हैं: समानांतर tool use डिफ़ॉल्ट रूप से चालू है, इसलिए एक अकेली assistant बारी में तीन या चार tool_use blocks हो सकते हैं ("मौसम बताओ और order ढूँढो और inventory जाँचो")। अगर आपका कोड सिर्फ़ पहला चलाता है, तो मॉडल उन नतीजों का इंतज़ार करता है जो कभी नहीं आते और बारी अटक जाती है।

यहाँ "समानांतर" मॉडल के अनुरोध को बताता है, आपके चलाने को नहीं: मॉडल ने एक बारी में कई tools माँगे। आप उन्हें बस एक के बाद एक चला सकते हैं और सारे नतीजे साथ वापस भेज सकते हैं, threads या async की ज़रूरत नहीं।

अनुबंध सटीक है: हर tool_use block चलाएँ, फिर एक user संदेश वापस भेजें जिसका content tool_result blocks की सूची है, हर call का एक, हर एक अपना tool_use_id दोहराता हुआ।

{"content": [
  {"type": "tool_use", "id": "t1", "name": "get_weather", "input": {"city": "Paris"}},
  {"type": "tool_use", "id": "t2", "name": "add",         "input": {"a": 2, "b": 5}}],
 "stop_reason": "tool_use"}

दूसरा नया विचार विफलता को अलग रखना है। अगर एक tool error उठाता है, तो आप पूरी बारी क्रैश करके बाक़ी नतीजे नहीं खोते। आप उस block का tool_result "is_error": True और error टेक्स्ट को content बनाकर लौटाते हैं, ताकि मॉडल देख सके क्या ग़लत हुआ और सँभल सके। गढ़ा हुआ tool नाम (आपकी registry में नहीं) बस एक और error है: उसे is_error के रूप में बताएँ, कभी ऐसा कुछ न चलाएँ जो आपने register नहीं किया।

run_tool_calls(resp, tools) बनाएँ जो अकेला अगला user संदेश लौटाए। सफल होने पर tool_result में ठीक type, tool_use_id, और content (str(...) से नतीजा) होते हैं; विफल होने पर उसमें "is_error": True भी होता है। दो-call वाली बारी का जवाब देने के लिए Run दबाएँ।

आपकी बारी

run_tool_calls(resp, tools) लिखें जो resp["content"] का हर tool_use block चलाए (बाक़ी block प्रकार नज़रअंदाज़ करें) और एक user संदेश {"role": "user", "content": [ ...tool_result blocks... ]} लौटाए, हर call का एक नतीजा क्रम से। हर सफल नतीजा {"type": "tool_result", "tool_use_id": <id>, "content": str(result)} है। अगर कोई tool error उठाए या उसका नाम tools में न हो, तो उस नतीजे में इसके बजाय error टेक्स्ट को content बनाकर "is_error": True होता है, और बाक़ी tools फिर भी चलते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।