पाठ्यक्रम 250 में से पाठ 121 · एक असली LLM को बुलाना
एक असली LLM को बुलाना

API त्रुटियाँ सँभालें

असली network calls विफल होती हैं, और एक production LLM client की ज़िंदगी इस पर टिकी है कि वह कैसी प्रतिक्रिया देता है। सबसे काम की अकेली सहज समझ है विफलताओं को दो डिब्बों में बाँटना: वे जो दोबारा आज़माने लायक हैं (एक अस्थायी अड़चन जो शायद हट जाएगी) और वे जिन्हें आपको request में ठीक करना होगा (आपकी कॉल में एक बग जिसमें कितनी भी बार दोबारा आज़माना मदद नहीं करेगा)। HTTP status code बताता है कि आप किस डिब्बे में हैं।

असली कोड में आप SDK के प्रकार वाले अपवाद पकड़ते हैं, जिनमें हर एक में .status_code होता है (सिर्फ़ उदाहरण -> हम network नहीं बुलाते):

import anthropic
try:
    resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
                                  messages=history)
except anthropic.RateLimitError:          # HTTP 429 -> back off and retry
    ...
except anthropic.APIStatusError as e:     # any other 4xx/5xx, has e.status_code
    if should_retry(e.status_code):
        ...   # retry with backoff
    else:
        raise # 400/401/403/404 -> a bug in YOUR request, surface it

status code के हिसाब से डिब्बे:

  • दोबारा आज़माएँ -> 408 (request timeout), 409 (conflict), 429 (rate limited), और 500 से 599 तक की कोई भी server error, जैसे 502, 503 (unavailable) या 529 (overloaded)। ये अस्थायी हैं: इंतज़ार करें, फिर दोबारा कोशिश करें। जब response में retry-after header हो, तो कम से कम उतना इंतज़ार करें।
  • request ठीक करें -> 400 (bad request), 401 (ग़लत API key), 403 (forbidden), 404 (ग़लत मॉडल या path)। बिगड़ी कॉल दोबारा आज़माना बस quota जलाता है।
  • अज्ञात -> बाक़ी कुछ भी (200 जैसी सफलता समेत): यह न मानें कि दोबारा आज़माना सुरक्षित है।

आप दो छोटे फ़ंक्शन बना रहे हैं। classify_error(status) डिब्बे का नाम लौटाता है: "retry", "fix-request", या "unknown"। should_retry(status) boolean लौटाता है -> True ठीक तब जब status retry set में हो, नहीं तो False।

यह पाठ तय करता है कि दोबारा आज़माना है या नहीं; कोशिशों के बीच का इंतज़ार अपना अलग हुनर है। production-patterns मॉड्यूल exponential backoff सिखाता है (हर कोशिश पर देरी दोगुनी: 1s, 2s, 4s ...), और उसके ऊपर आप jitter जोड़ते हैं -> थोड़ा रैंडम अतिरिक्त इंतज़ार -> ताकि एक ही पल में लौटाए गए clients का झुंड एक ही ताल पर दोबारा कोशिश करके server पर फिर से धावा न बोले (the "thundering herd")। इसे ऐसे बनाएँ कि status तालिका कई अलग जवाब दे (429 -> retry, 400 -> fix-request, 200 -> unknown), जिसका मतलब है कोई अकेला स्थिरांक पास नहीं हो सकता।

आपकी बारी

classify_error(status) लिखें जो 408 (request timeout), 409 (conflict), 429 (rate limited) और 500 से 599 तक की हर server error (529 मतलब overloaded) के लिए "retry", {400, 401, 403, 404} के लिए "fix-request", और बाक़ी किसी भी चीज़ के लिए "unknown" लौटाए। should_retry(status) लिखें जो boolean True ठीक तब लौटाए जब classify_error(status) "retry" हो, नहीं तो False। (आधिकारिक Anthropic SDK यही नियम इस्तेमाल करता है: यह इन statuses, और connection errors, को डिफ़ॉल्ट रूप से दो बार दोबारा आज़माता है, और उतना इंतज़ार करता है जितना retry-after header कहे। असली कोड में आप ज़्यादातर इसे ख़ुद लिखने के बजाय max_retries सेट करते हैं; इसे एक बार लिखना दिखाता है कि यह क्या करता है।)

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।