Chương trình học Bài 134 trên tổng số 246 · Mô-đun 12: Từ ngữ thành con số (embedding)
Mô-đun 12: Từ ngữ thành con số (embedding)

Một embedding là một phép tra, và một phép tra là một phép nhân

Vì sao điều này quan trọng Một mạng chỉ làm số học, nhưng văn bản được tạo từ các ký hiệu. Mọi mô hình ngôn ngữ bắt đầu bằng cách biến mỗi ký hiệu thành một list ngắn các con số, embedding của nó.

Cho mỗi ký hiệu một con số từ 0 tới V trừ 1 (id của nó). Bảng embedding E có một hàng cho mỗi ký hiệu, mỗi hàng d con số. Biến một id thành các con số chỉ đơn giản là đọc hàng của nó: E[id].

Vì sao đó vẫn là một lớp

Viết id dưới dạng một vector one-hot: V số không với đúng một số 1 ở vị trí id. Khi đó one-hot nhân E chọn ra đúng hàng đó. Vậy một embedding là một lớp tuyến tính mà đầu vào tình cờ là one-hot. Chúng ta làm phép tra thay vào đó vì nó bỏ qua V nhân d phép nhân với không.

Nó cũng cho bạn biết nó được huấn luyện ra sao: gradient chỉ tới được các hàng đã được dùng. Một ký hiệu không bao giờ xuất hiện trong một batch giữ nguyên hàng của nó.

Những con số nhỏ xíu

V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1 dưới dạng one-hot là [0, 1, 0], và [0, 1, 0] nhân E = [3, 4], giống như E[1].

Từ và ký hiệu trong bài học này
embedding
hàng các con số đã học được đại diện cho một ký hiệu
one-hot
V số không với đúng một số 1; nhân với bảng, nó chọn ra một hàng
Đến lượt bạn

Viết onehot(ids, V) trả về một array có shape (len(ids), V). Rồi gán rows_with_gradient là số hàng của bảng embedding nhận được gradient khác không sau lượt lan truyền ngược được cho thấy.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.