AI trên thiết bị (không có đám mây)
Phần lớn ứng dụng AI gửi văn bản của bạn tới máy chủ của một công ty, nơi chạy mô hình và gửi câu trả lời về. Điều đó nghĩa là tài khoản, khóa API, hóa đơn, và dữ liệu của bạn rời khỏi máy. Floati từ chối tất cả những điều đó.
Floati chạy AI của nó phía client, ngay trong trình duyệt hoặc ứng dụng của bạn, dùng WebLLM trên nền WebGPU. WebGPU là một tiêu chuẩn trình duyệt cho phép mã web dùng card đồ họa của máy tính bạn; WebLLM dùng nó để chạy một mô hình ngôn ngữ thật (nhỏ hơn) ngay trên máy. Trọng số mô hình tải về một lần, rồi mọi thứ diễn ra trên thiết bị của bạn.
- Không khóa, không đám mây, không hóa đơn. Không có gì phải đăng ký.
- Riêng tư từ thiết kế. Prompt của bạn không bao giờ rời khỏi máy, phù hợp với cam kết ưu tiên ngoại tuyến của Floati.
- Giới hạn trung thực. Các mô hình trên thiết bị nhỏ hơn và chậm hơn những mô hình khổng lồ được lưu trữ, và chúng cần một trình duyệt hỗ trợ WebGPU. Sự đánh đổi là quyền riêng tư và chi phí bằng không.
Dù bạn nói chuyện với mô hình nào, bạn nói chuyện với nó qua một prompt. Một thói quen gọn gàng, dùng lại được là giữ một chỉ dẫn system (mô hình nên là ai) tách khỏi thông điệp của người dùng, rồi ráp chúng thành một chuỗi với một lượt cuối rõ ràng để mô hình viết tiếp:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Kết thúc bằng Assistant: báo hiệu chỗ mô hình nên bắt đầu viết. Bạn sẽ xây mẫu đó bây giờ; bài tiếp theo dùng nó để thật sự gọi mô hình trên thiết bị.
Viết build_prompt(system, user) trả về một chuỗi duy nhất đúng hình dạng này: System: <system>, rồi một dấu xuống dòng, User: <user>, một dấu xuống dòng, rồi Assistant: không có gì sau nó. Rồi đặt prompt = build_prompt("You are concise.", "Summarize my week.").
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.