Chương trình học Bài 183 trên tổng số 250 · Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn
Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn

Rào chắn đầu ra và tổng hợp dấu vết

Câu trả lời của một mô hình là không đáng tin cho tới khi bạn kiểm tra nó. Hai rào chắn đầu ra đáp ứng phần lớn nhu cầu. Một rào chắn danh sách cho phép đòi đầu ra phải đúng là một trong một tập đã biết, đây là cách bạn làm cho một bộ phân loại đáng tin: nếu mô hình được cho là trả lời positive, negative, hoặc neutral, mọi thứ khác đều bị từ chối. Một rào chắn danh sách cấm đánh dấu mọi đầu ra chứa một từ bị cấm (một bí mật bị lộ, một lời lăng mạ, tên một đối thủ) bất kể văn bản xung quanh.

Các hệ thống vận hành cũng cần khả năng truy vết: mỗi lệnh gọi được ghi lại với đầu vào, đầu ra, số token, độ trễ và chi phí của nó, để sau đó bạn trả lời được câu "cái này tốn bao nhiêu và chậm cỡ nào?". Bạn tổng hợp các bản ghi đó thành một bản tóm tắt: tổng chi phí, và các phân vị độ trễ. Độ trễ p95 (giá trị mà 95% lệnh gọi nằm dưới) là con số các kỹ sư trực thật sự theo dõi, vì trung bình che giấu phần đuôi chậm.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Xây bốn hàm. (1) validate_output(text, allowed_labels) -> True chỉ khi text.strip() nằm trong allowed_labels. (2) contains_banned(text, banned) -> True nếu bất kỳ từ bị cấm nào xuất hiện trong text không phân biệt hoa thường. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> một dict với đúng năm khóa đó. (4) aggregate_traces(traces) -> tạo một pandas.DataFrame từ các dict dấu vết và trả về một dict với n, total_cost (làm tròn tới 6 chữ số thập phân), p50_latency, và p95_latency tính bằng numpy.percentile.

Đến lượt bạn

Xây validate_output(text, allowed_labels) (True chỉ khi text.strip() là một nhãn được phép), contains_banned(text, banned) (True khi bất kỳ từ bị cấm nào xuất hiện, không phân biệt hoa thường), build_trace(input_text, output_text, tokens, latency_ms, cost) (một dict với năm khóa đó), và aggregate_traces(traces) (một DataFrame pandas được tóm tắt thành {n, total_cost (round 6dp), p50_latency, p95_latency} qua numpy.percentile). Một nhãn được phép phải qua trong khi một nhãn không được phép bị chặn, và hai danh sách cấm khác nhau phải cho hai phán quyết khác nhau.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.