Dự án cuối về AI: mã của bạn điều khiển một LLM trên thiết bị
Đây là dự án cuối, và bạn là kiến trúc sư. Cả lộ trình đã dẫn tới một ý tưởng: Python của bạn điều phối mô hình. LLM chỉ là một thành phần bạn gọi -> mã của bạn quyết định nó thấy dữ liệu gì, yêu cầu được định hình ra sao, và điều gì xảy ra khi không có mô hình nào được tải. Bạn sẽ xây phần điều phối đó từ một tệp gần như trống.
Mọi tính năng AI thật đều là cùng một vòng lặp. Mã của bạn làm phần việc đáng tin cậy, mô hình lo phần câu chữ:
- Tính các sự thật bằng pandas. Mã chính xác khi làm phép tính; một mô hình thì không. Nên số hàng, tổng, trung bình và hạng mục đứng đầu đến từ một DataFrame, không bao giờ từ LLM. Đây là cách duy nhất để tránh những con số bịa đặt.
- Tự định hình yêu cầu. Một mẫu prompt dùng lại được giữ chỉ dẫn system (mô hình nên là ai) tách khỏi thông điệp người dùng (nó nên làm gì), rồi ráp chúng thành một chuỗi kết thúc bằng một dấu mốc lượt để mô hình biết chỗ bắt đầu viết.
- Luôn có một đường ngoại tuyến. Mô hình trên thiết bị cần WebGPU và không tất định, nên bạn cũng viết một bộ sinh dựa trên quy tắc biến cùng những sự thật đó thành một câu. Tính năng vẫn chạy ngay cả khi không có mô hình nào.
Bạn sẽ xây gì
Hai hàm, từ con số không. build_prompt(system, user) trả về một chuỗi gọn chứa cả hai phần và kết thúc bằng Assistant:. insight(df) tính các số liệu trên một bảng chi tiêu nhúng sẵn và trả về một dòng bằng ngôn ngữ dễ hiểu nêu tên hạng mục lớn nhất và tổng. Một hàm trợ giúp nhỏ spend_stats(df) làm phần việc pandas để cả báo cáo lẫn nhận xét đọc từ cùng những con số.
Bước AI (thử trong ứng dụng)
Floati chạy mô hình của nó phía client bằng WebLLM trên WebGPU -> không tài khoản, không khóa, không đám mây, prompt của bạn không bao giờ rời khỏi máy. Ứng dụng nối một engine dùng chung duy nhất vào window._floatiTutor. Một khi bạn đã xây build_prompt, đây là lệnh gọi thật (nó nằm ngoài bộ chấm vì cần GPU và không tất định):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);Để ý mô hình chỉ bao giờ thấy chuỗi report mà Python của bạn tạo ra -> các con số đã đúng trước khi mô hình lên tiếng. Nhấn Chạy để xem đường ống ngoại tuyến của bạn in ra các số liệu và nhận xét dựa trên quy tắc; báo cáo được in đó chính là thứ bạn sẽ trao cho mô hình ở trên. Bộ chấm kiểm tra hình dạng prompt của bạn và insight tất định của bạn, không bao giờ kiểm tra đầu ra của mô hình.
Xây phần điều phối. DataFrame chi tiêu df được nhúng sẵn cho bạn (10 hàng, các cột category và amount). Viết ba thứ: (1) spend_stats(df) -> một dict với các khóa rows, total, average, top_category, top_amount (tổng/trung bình làm tròn tới 2 chữ số thập phân, hạng mục đứng đầu theo tổng số tiền); (2) build_prompt(system, user) -> một chuỗi chứa cả system lẫn user và kết thúc bằng Assistant: để mô hình viết tiếp từ đó; (3) insight(df) -> một chuỗi bằng ngôn ngữ dễ hiểu khác rỗng (phương án dự phòng dựa trên quy tắc) nêu tên hạng mục đứng đầu và hiện một TOTAL: <amount> với số tiền 2 chữ số thập phân. Rồi đặt report = insight(df) và print(report).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.