Chương trình học Bài 186 trên tổng số 250 · Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ
Khuôn mẫu cho môi trường thật: thử lại, bất đồng bộ, streaming và bộ nhớ

Thử lại với backoff lũy thừa

Điều đầu tiên thế giới thật dạy một ứng dụng LLM là các lệnh gọi thất bại. Một giới hạn tốc độ, một kết nối bị rớt, một lỗi 503 từ nhà cung cấp -> không cái nào nghĩa là mã của bạn sai, chúng nghĩa là bạn nên chờ một chút rồi thử lại. Khuôn mẫu chuẩn là thử lại với backoff lũy thừa: mỗi lần thất bại bạn chờ lâu hơn trước lần thử tiếp theo, để một trục trặc ngắn hồi phục nhanh trong khi một dịch vụ đang chật vật không bị dồn dập.

Độ trễ giữa các lần thử lại nhân đôi mỗi lần. Nếu độ trễ cơ sở là 0.5 giây, bạn chờ 0.5, rồi 1.0, rồi 2.0, và cứ thế -> công thức là base_delay * 2 ** attempt trong đó attempt là số thứ tự lần thử lại bắt đầu từ không. Sau một số lần thử cố định, bạn bỏ cuộc và để lỗi lan ra, vì thử lại mãi mãi chỉ che giấu một sự cố thật.

for attempt in range(max_attempts):
    try:
        return call_the_model()
    except Exception:
        # last attempt? re-raise. otherwise wait base_delay * 2**attempt
        ...

Trong môi trường thật, việc chờ là một time.sleep(delay) thật, và quanh một động cơ WebLLM trên thiết bị bạn sẽ bọc cùng vòng lặp thử lại đó quanh engine.chat.completions.create(...). Nhưng ngủ làm cho bài kiểm tra chậm và chập chờn, nên ở đây bạn hoàn toàn không ngủ: bạn ghi lại các độ trễ lẽ ra bạn đã chờ và trả chúng về. Điều đó giữ mọi thứ có tính quyết định và kiểm tra được ngay lập tức, trong khi phần logic -> đếm số lần thử, tính backoff, bỏ cuộc ở giới hạn -> chính là thứ được đưa vào sản phẩm.

Một cải tiến thực tế cần biết: chỉ nhân đôi độ trễ làm cho mọi client thất bại cùng một lúc thử lại đồng bộ với nhau, cùng thức dậy và lại dội vào dịch vụ (một "đàn bò giẫm đạp"). Mã thật thêm jitter -> một chút ngẫu nhiên để các lần thử lại trải ra, thường là ngủ một khoảng ngẫu nhiên tới độ trễ đã tính ("full jitter", ví dụ time.sleep(random.uniform(0, delay))). Ta giữ hàm được chấm có tính quyết định và ghi lại chính xác các giá trị base_delay * 2 ** attempt; jitter là cải tiến thực tế bạn sẽ xếp lên trên, không thuộc bài tập.

Xây retry_call(fn, max_attempts, base_delay). Gọi fn(). Nếu nó trả về, đưa lại một dict {"value": result, "attempts": how_many_calls, "delays": [...]}. Nếu nó báo lỗi, ghi lại độ trễ backoff base_delay * 2 ** attempt (đừng ngủ) và thử lại, tối đa max_attempts lần gọi tổng cộng. Nếu lần thử cuối vẫn báo lỗi, để ngoại lệ đó lan ra. Một callable không bao giờ thất bại được gọi đúng một lần với list độ trễ rỗng. Hai quy tắc từ các client thật cũng thuộc về đây. Chỉ thử lại các lỗi tạm thời (các mã 408, 409, 429 và 5xx từ mô-đun gọi LLM); một yêu cầu sai định dạng thất bại theo cùng một cách mỗi lần. Và khi máy chủ gửi một header retry-after, hãy chờ ít nhất chừng đó thay vì backoff của riêng bạn. SDK chính thức đã làm cả hai, mặc định hai lần, nên trong thực tế bạn thường chỉnh max_retries hơn là tự viết vòng lặp này.

Đến lượt bạn

Viết retry_call(fn, max_attempts, base_delay, retryable=None) gọi fn() và thử lại khi nó báo lỗi, nhưng chỉ với các lỗi đáng thử lại: nếu retryable được cho (một hàm từ ngoại lệ ra True/False) và trả về False, báo lại lỗi ngay lập tức mà không thử thêm. Với retryable=None, mọi ngoại lệ đều được tính là đáng thử lại. Nó cũng ghi lại độ trễ backoff lũy thừa base_delay * 2 ** attempt trước mỗi lần thử lại mà KHÔNG ngủ. Trả về {"value", "attempts", "delays"} khi thành công; báo lại lỗi khi cả max_attempts lần gọi đều thất bại. Một fn thất bại N-1 lần rồi thành công trả về giá trị; các độ trễ ghi lại bằng mốc tham chiếu lũy thừa; một fn không bao giờ thất bại được gọi đúng một lần.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.