Chương trình học Bài 136 trên tổng số 246 · Mô-đun 12: Từ ngữ thành con số (embedding)
Mô-đun 12: Từ ngữ thành con số (embedding)

Token: gộp các cặp phổ biến nhất

Vì sao điều này quan trọng Các mô hình thật không đọc ký tự hay cả từ. Chúng đọc token, những mẩu ở giữa, được tạo bằng một quy tắc đếm đơn giản. Đó là lý do một mô hình "thấy" một từ phổ biến là một mẩu và một từ hiếm là vài mẩu.

Mã hóa cặp byte (BPE) bắt đầu với các ký tự đơn lẻ và lặp lại một bước: tìm cặp ký hiệu lân cận xuất hiện thường nhất trong văn bản, và dán nó thành một ký hiệu mới ở mọi nơi.

Ví dụ nhỏ xíu

Các từ "low" (5 lần) và "lot" (2 lần). Các cặp: l o xuất hiện 7 lần, o w 5, o t 2. Gộp l o: giờ là "lo w" và "lo t". Tiếp theo, lo w xuất hiện 5 lần: gộp nó, và "low" là một token duy nhất.

Các bộ tách token thật thêm hai thứ mà bài học này bỏ qua. Chúng bắt đầu từ byte thay vì ký tự, nên bất kỳ văn bản nào bằng bất kỳ ngôn ngữ nào, kể cả emoji, đều có thể viết được với 256 ký hiệu khởi đầu. Và chúng đánh dấu nơi các từ bắt đầu (GPT-2 dán dấu cách vào đầu từ kế tiếp), nên một mẩu ở đầu một từ và cùng những chữ cái đó bên trong một từ trở thành các token khác nhau. Số ký tự mỗi từ là cái giá của việc đọc từng ký tự một. Số token mỗi từ giảm khi thêm các lần gộp: ít bước hơn, lớn hơn cho mô hình, với cái giá là một bộ từ vựng lớn hơn.

Từ và ký hiệu trong bài học này
token, BPE
một mẩu văn bản mà mô hình đọc; mã hóa cặp byte dán cặp lân cận phổ biến nhất lại, lặp đi lặp lại
Đến lượt bạn

Viết pair_counts(vocab) (mỗi cặp lân cận xuất hiện thường tới đâu, có trọng số theo số lần của từ) và merge(vocab, pair) (dán cặp đó ở mọi nơi). Đoán my_guess, số token mỗi từ sau 200 lần gộp (nó bắt đầu ở khoảng 4.6). Vòng lặp đã được viết sẵn cho bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.