Xử lý lỗi API
Các cuộc gọi mạng thực tế thường bị lỗi, và một client LLM chạy thực tế sẽ thành công hay thất bại tùy thuộc vào cách nó phản ứng. Bản năng hữu ích nhất là chia các lỗi thành hai nhóm: nhóm đáng để retrying (một sự cố tạm thời có thể sẽ tự hết) và nhóm bạn phải fix in the request (một lỗi trong call của bạn mà việc retrying bao nhiêu lần cũng không giúp ích gì). Mã trạng thái HTTP sẽ cho bạn biết bạn đang ở nhóm nào.
Trong mã thực tế bạn bắt các ngoại lệ kiểu dữ liệu của SDK, mỗi cái đều mang theo một .status_code (chỉ mang tính minh họa -> chúng ta không gọi mạng):
import anthropic
try:
resp = client.messages.create(model="claude-opus-5-5", max_tokens=1024,
messages=history)
except anthropic.RateLimitError: # HTTP 429 -> back off and retry
...
except anthropic.APIStatusError as e: # any other 4xx/5xx, has e.status_code
if should_retry(e.status_code):
... # retry with backoff
else:
raise # 400/401/403/404 -> a bug in YOUR request, surface itCác bucket, theo mã trạng thái:
- Retry ->
408(hết thời gian yêu cầu),409(xung đột),429(giới hạn tốc độ), và bất kỳ lỗi máy chủ nào từ500đến599, chẳng hạn như502,503(không khả dụng) hoặc529(quá tải). Đây là các lỗi tạm thời: hãy đợi, sau đó thử lại. Khi phản hồi có tiêu đềretry-after, hãy đợi ít nhất khoảng thời gian đó. - Sửa lỗi request ->
400(bad request),401(bad API key),403(forbidden),404(wrong model or path). Việc thử lại một call sai định dạng chỉ làm lãng phí quota. - Không xác định -> bất kỳ thứ gì khác (bao gồm cả thành công như
200): đừng giả định rằng việc thử lại là an toàn.
Bạn đang xây dựng hai hàm nhỏ. classify_error(status) trả về tên bucket: "retry", "fix-request", hoặc "unknown". should_retry(status) trả về giá trị boolean -> True chính xác khi status nằm trong retry set, nếu không thì là False.
Bài học này quyết định liệu có thử lại hay không; thời gian chờ giữa các lần thử là kỹ năng riêng của nó. Module production-patterns bao gồm exponential backoff (gấp đôi thời gian trễ mỗi lần thử: 1s, 2s, 4s ...), và trên hết bạn ADD jitter -> một lượng chờ ngẫu nhiên nhỏ thêm vào -> để một nhóm client bị từ chối cùng lúc không cùng thử lại vào một nhịp và làm quá tải server lần nữa (hiện tượng "thundering herd"). Hãy xây dựng nó sao cho bảng trạng thái trả về nhiều câu trả lời khác nhau (429 -> retry, 400 -> fix-request, 200 -> unknown), nghĩa là không có hằng số đơn lẻ nào có thể vượt qua được.
Viết classify_error(status) trả về "retry" cho 408 (request timeout), 409 (conflict), 429 (rate limited) và mọi lỗi server từ 500 đến 599 (529 nghĩa là overloaded), "fix-request" cho {400, 401, 403, 404}, và "unknown" cho bất kỳ thứ gì khác. Viết should_retry(status) trả về giá trị boolean True chính xác khi classify_error(status) là "retry", nếu không thì False. (Đây là quy tắc tương tự mà official Anthropic SDK sử dụng: nó thử lại các trạng thái này, và lỗi kết nối, hai lần theo mặc định, và đợi lâu tùy theo header retry-after yêu cầu. Trong code thực tế bạn thường cấu hình max_retries thay vì tự viết cái này; viết nó một lần sẽ cho bạn thấy nó hoạt động thế nào.)
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.