Tính token và chi phí
Một lệnh gọi mô hình tốn tiền thật, và hóa đơn được đo bằng token, không phải ký tự hay từ. Một token đại khái là một mẩu vài ký tự. Con số chính xác đến từ bộ tách token của mô hình, nhưng để lập ngân sách và làm bảng theo dõi, một quy tắc ước lượng tốt là tokens ≈ characters / 4. Ước lượng đó đủ gần để dự báo chi tiêu, đặt giới hạn cho mỗi yêu cầu, và phát hiện một prompt sắp làm vỡ ngân sách của bạn.
Các nhà cung cấp định giá token đầu vào (prompt) và token đầu ra (phần sinh) theo các mức khác nhau, thường tính bằng đô la cho mỗi 1.000.000 token. Đầu ra thường đắt gấp vài lần đầu vào, nên việc tách đôi là quan trọng. Chi phí của một lệnh gọi là:
cost = (prompt_tokens / 1_000_000) * in_rate
+ (completion_tokens / 1_000_000) * out_rateTrong một ứng dụng thật bạn sẽ đọc số token thật ngay từ câu trả lời. Ví dụ, một engine WebLLM chạy trên thiết bị trả nó về cùng câu trả lời:
const reply = await engine.chat.completions.create({ messages });
const used = reply.usage.completion_tokens; // exact count from the runtimeLệnh gọi thật đó chỉ để minh họa. Ở đây bạn xây lớp tính toán tất định bao quanh bất kỳ mô hình nào: một bộ ước lượng token và một hàm chi phí trên một bảng giá. Đây là hai hàm mà mọi bảng theo dõi chi phí được làm từ đó.
Xây hai hàm. estimate_tokens(text) trả về một ước lượng token dạng số nguyên theo quy tắc ký tự/4 (dùng phép chia nguyên, để "" -> 0). estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) trả về chi phí bằng đô la theo công thức trên, trong đó các mức giá là đô la cho mỗi 1.000.000 token. Giữ cả hai thuần và không có tác dụng phụ.
Viết estimate_tokens(text) trả về một ước lượng token dạng số nguyên (khoảng len(text) // 4, nên một chuỗi rỗng là 0) và estimate_cost(prompt_tokens, completion_tokens, in_rate, out_rate) trả về chi phí bằng đô la, trong đó in_rate và out_rate là giá cho mỗi 1.000.000 token. Văn bản dài hơn trong hai văn bản không bao giờ được ước lượng ít token hơn, và đổi một lệnh gọi nặng prompt lấy một lệnh gọi nặng phần sinh phải làm thay đổi chi phí khi hai mức giá khác nhau.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.