LLM là gì?
Một mô hình ngôn ngữ lớn (LLM) như những mô hình đằng sau các trợ lý trò chuyện, về cốt lõi, là một cỗ máy dự đoán token tiếp theo khổng lồ. Vài thuật ngữ làm mọi thứ sáng tỏ.
- Token. Văn bản được chặt thành những mẩu gọi là token, đại khái là từ hoặc mảnh từ. Mô hình đọc và viết token, không phải ký tự thô. Một quy tắc ước lượng: một token khoảng bốn ký tự tiếng Anh.
- Dự đoán. Với các token cho tới giờ, mô hình xuất ra một xác suất cho mọi token tiếp theo có thể có. Nó chọn một cái, nối thêm vào, và lặp lại. Vòng lặp đó là cách nó viết cả đoạn văn.
- Prompt. Văn bản bạn đưa vào. Mọi thứ mô hình biết về yêu cầu của bạn nằm trong prompt, nên cách bạn diễn đạt rất quan trọng (các bài tiếp theo).
- Temperature. Một núm vặn cho độ ngẫu nhiên của lựa chọn đó. Gần
0mô hình gần như luôn lấy token có khả năng nhất (tập trung, lặp lại). Giá trị cao hơn cho nó lấy mẫu các token ít khả năng hơn (sáng tạo hơn, kém đáng tin hơn). Các mô hình cục bộ, như mô hình trong dự án cuối của khóa học này, vẫn nhận núm này. Các mô hình Claude được lưu trữ mới nhất thì không: chúng tự đặt cách lấy mẫu và đáp lại một thiết lập temperature bằng một lỗi, nên ở đó bạn điều hướng đầu ra qua prompt. - Ảo giác. Vì nó dự đoán văn bản nghe hợp lý thay vì tra cứu sự thật, một LLM có thể khẳng định điều sai với sự tự tin tuyệt đối. Hãy luôn xác minh các sự thật nó đưa ra.
Các bộ tách token thật dựa trên từ con và được học từ dữ liệu. Ta sẽ không xây cái đó ở đây, nhưng ta có thể xây bộ tách token đơn giản nhất có thể (tách theo khoảng trắng) để cảm nhận việc đếm token là thế nào. Số token là cách mức sử dụng và giới hạn được đo.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']Tách theo khoảng trắng chỉ là một bản thay thế để cảm nhận. Các bộ tách token thật tách thành các mảnh từ con, nên một quy tắc ước lượng phổ biến khi lập ngân sách là tokens ≈ len(text) / 4 ký tự, và mã vận hành đọc số đếm chính xác từ trường usage mà API trả về (hoặc một endpoint đếm token chuyên dụng) thay vì đoán.
Mô hình suy luận
Mọi điều ở trên mô tả một mô hình phát ra câu trả lời trực tiếp. Một họ mới hơn, mô hình suy luận, trước tiên dành một ngân sách ẩn các token "suy nghĩ" để giải bài toán từng bước, rồi mới viết câu trả lời cuối cùng. Sự cân nhắc thêm đó mua được độ chính xác thật với các tác vụ khó, nhiều bước (toán, mã, lập kế hoạch cẩn thận), và bạn thường có một núm vặn: mức nỗ lực hay ngân sách suy nghĩ cao hơn nghĩa là nhiều token suy nghĩ hơn, độ trễ lớn hơn và chi phí cao hơn. Sự phán đoán kỹ thuật đơn giản là khi nào thì đáng: dùng một mô hình suy luận cho bước thật sự khó, và dùng một mô hình nhanh, rẻ cho các bước thường lệ. Về sau bạn sẽ đưa chính sự đánh đổi đó vào thực hành khi xây một chuỗi xếp tầng biết chi phí, định tuyến các yêu cầu dễ tới mô hình rẻ và chỉ chuyển lên các yêu cầu khó.
Viết một bộ tách token theo khoảng trắng đơn giản. tokenize(text) trả về list các token ngăn cách bởi khoảng trắng (dùng .split()). count_tokens(text) trả về có bao nhiêu cái. Rồi đặt tokens = tokenize(sample) và n_tokens = count_tokens(sample).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.