Token: gộp các cặp phổ biến nhất
Vì sao điều này quan trọng Các mô hình thật không đọc ký tự hay cả từ. Chúng đọc token, những mẩu ở giữa, được tạo bằng một quy tắc đếm đơn giản. Đó là lý do một mô hình "thấy" một từ phổ biến là một mẩu và một từ hiếm là vài mẩu.
Mã hóa cặp byte (BPE) bắt đầu với các ký tự đơn lẻ và lặp lại một bước: tìm cặp ký hiệu lân cận xuất hiện thường nhất trong văn bản, và dán nó thành một ký hiệu mới ở mọi nơi.
Ví dụ nhỏ xíu
Các từ "low" (5 lần) và "lot" (2 lần). Các cặp: l o xuất hiện 7 lần, o w 5, o t 2. Gộp l o: giờ là "lo w" và "lo t". Tiếp theo, lo w xuất hiện 5 lần: gộp nó, và "low" là một token duy nhất.
Các bộ tách token thật thêm hai thứ mà bài học này bỏ qua. Chúng bắt đầu từ byte thay vì ký tự, nên bất kỳ văn bản nào bằng bất kỳ ngôn ngữ nào, kể cả emoji, đều có thể viết được với 256 ký hiệu khởi đầu. Và chúng đánh dấu nơi các từ bắt đầu (GPT-2 dán dấu cách vào đầu từ kế tiếp), nên một mẩu ở đầu một từ và cùng những chữ cái đó bên trong một từ trở thành các token khác nhau. Số ký tự mỗi từ là cái giá của việc đọc từng ký tự một. Số token mỗi từ giảm khi thêm các lần gộp: ít bước hơn, lớn hơn cho mô hình, với cái giá là một bộ từ vựng lớn hơn.
Từ và ký hiệu trong bài học này
- token, BPE
- một mẩu văn bản mà mô hình đọc; mã hóa cặp byte dán cặp lân cận phổ biến nhất lại, lặp đi lặp lại
Viết pair_counts(vocab) (mỗi cặp lân cận xuất hiện thường tới đâu, có trọng số theo số lần của từ) và merge(vocab, pair) (dán cặp đó ở mọi nơi). Đoán my_guess, số token mỗi từ sau 200 lần gộp (nó bắt đầu ở khoảng 4.6). Vòng lặp đã được viết sẵn cho bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.