Chương trình học Bài 88 trên tổng số 156 · AI riêng tư
AI riêng tư

Mô hình trên thiết bị

Vì sao điều này quan trọng Một mô hình trên thiết bị trả lời bạn mà lời của bạn không bao giờ rời máy tính hay điện thoại của bạn. Điều đó biến "hãy tin chúng tôi với dữ liệu của bạn" thành "chúng tôi chưa bao giờ có dữ liệu của bạn". Đó là cách tính năng chỉnh sửa bằng AI của CV Builder và người hướng dẫn của khóa học này hoạt động, và bạn có thể tự kiểm tra.

Đầu bếp trong bếp nhà bạn

Một AI đám mây giống như một nhà hàng: bạn đưa đơn gọi món cho người phục vụ và việc nấu nướng diễn ra khuất tầm mắt. Một mô hình trên thiết bị giống như mời đầu bếp tới bếp nhà bạn. Đầu bếp phải đi tới chỗ bạn một lần (đó là lần tải xuống), nhưng sau đó mọi bữa ăn đều được nấu tại nhà, và không ai khác thấy bạn ăn gì.

Mô hình: một tệp lớn chứa các con số (gọi là trọng số) cộng mã dùng chúng để dự đoán những từ tiếp theo của một văn bản. "Chạy một mô hình" nghĩa là làm rất nhiều phép toán với những con số đó.

Mô hình trên thiết bị: một mô hình có trọng số được tải xuống thiết bị của bạn và chạy ở đó, dùng bộ xử lý hay chip đồ họa của chính bạn. Prompt của bạn và câu trả lời ở lại trên thiết bị.

Nó hoạt động ra sao trong một trình duyệt

Floati dùng WebLLM, một thư viện mã nguồn mở chạy các mô hình ngôn ngữ bên trong một trang web. Ba thành phần làm nó hoạt động:

  • WebGPU, một tính năng trình duyệt cho phép một trang dùng chip đồ họa (GPU) của bạn để làm toán nhanh. Các mô hình ngôn ngữ cần rất nhiều phép toán, nên đây là thứ làm chúng dùng được trong một tab.
  • Một mô hình nhỏ, đã nén. Người hướng dẫn của khóa học và CV Builder dùng một mô hình nhỏ làm theo chỉ dẫn với khoảng nửa tỉ tham số, được nén để vừa trong một trình duyệt (kiểm tra vào tháng Mười 2026).
  • Bộ đệm của trình duyệt, thứ giữ các trọng số đã tải để lần truy cập sau khởi động nhanh hơn nhiều.

Tham số (parameters): những con số riêng lẻ bên trong một mô hình. Nhiều tham số hơn thường nghĩa là một mô hình giỏi hơn, và một lần tải lớn hơn.

Lượng tử hóa (quantisation): lưu mỗi con số với ít bit hơn (ví dụ 4 bit thay vì 16 hay 32). Giống như lưu một bức ảnh ở chất lượng thấp hơn: nhỏ hơn nhiều, kém sắc nét hơn một chút.

Những gì có đi qua mạng

Sự trung thực quan trọng ở đây. Dùng một mô hình trên thiết bị không phải là "hoàn toàn không có mạng". Hai thứ được tải xuống:

  1. Mã thư viện chạy mô hình.
  2. Trọng số của mô hình, hàng trăm megabyte, tải xuống một lần rồi được lưu đệm.

Cả hai đều là tải về phía bạn. Thứ không bao giờ được gửi đi là phía của bạn: những câu hỏi bạn đặt và văn bản bạn dán. Máy chủ lưu trữ trọng số biết rằng ai đó đã tải một mô hình, giống như tải bất kỳ tệp nào, nhưng nó không bao giờ thấy cuộc trò chuyện của bạn.

Các sự đánh đổi

Mô hình đám mâyMô hình trên thiết bị
Ai thấy văn bản của bạnNhà cung cấpChỉ thiết bị của bạn
Chất lượngThường mạnh hơn nhiềuGiỏi các việc nhỏ, tập trung
Lần dùng đầuTức thìMột lần tải lớn duy nhất
CầnMột kết nối internetMột trình duyệt có WebGPU và đủ bộ nhớ
Hoạt động ngoại tuyếnKhôngCó, một khi đã tải

WebGPU có trong các phiên bản máy tính hiện tại của Chrome, Edge và Safari, và trong Firefox trên một số hệ thống (kiểm tra vào tháng Mười 2026). Trên các thiết bị cũ hơn hay ít bộ nhớ, mô hình có thể hoàn toàn không tải được, đó là lý do CV Builder của Floati còn có một bộ gợi ý đơn giản dựa trên quy tắc không cần mô hình. Hãy rõ ràng về sự khác biệt: bộ gợi ý đó chạy trên máy chủ riêng của Floati, nên văn bản CV của bạn được gửi tới đó, dù không bao giờ tới một công ty AI.

Một hiểu lầm phổ biến

"Mô hình nhỏ thì vô dụng." Một mô hình nửa tỉ tham số sẽ không viết tiểu thuyết cho bạn, nhưng nó giỏi những việc hẹp: diễn đạt lại một câu, đưa một gợi ý, tóm tắt một đoạn. Với nhiều việc riêng tư một mô hình nhỏ cục bộ là đúng công cụ, và một mô hình đám mây khổng lồ là thừa thãi khiến bạn mất dữ liệu.

Tự thử Mở một bài có người hướng dẫn và mở DevTools của trình duyệt (F12, hoặc Cmd+Option+I trên Mac), rồi tab Network. Khởi động người hướng dẫn: bạn sẽ thấy các lần tải lớn cho mô hình. Khi nó đã tải xong, xóa danh sách và hỏi người hướng dẫn một câu. Theo dõi danh sách: bạn có thể thấy một bộ đếm trang nhỏ, nhưng không yêu cầu nào mang câu hỏi hay mã của bạn.

Tóm tắt

  • Một mô hình trên thiết bị chạy trên phần cứng của chính bạn, nên prompt và câu trả lời của bạn không bao giờ rời thiết bị.
  • Trong một trình duyệt điều này dùng WebGPU, một mô hình nhỏ đã lượng tử hóa và bộ đệm; người hướng dẫn và CV Builder của Floati dùng WebLLM theo cách này.
  • Mã và trọng số được tải về phía bạn một lần; văn bản của bạn không bao giờ được tải lên.
  • Cái giá là chất lượng thấp hơn, một lần tải đầu lớn và các yêu cầu về thiết bị.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.