Một khối transformer, tự tay
Vì sao điều này quan trọng Một GPT là cùng một khối xếp chồng. Viết một khối bằng NumPy thuần, chạy nó với các trọng số thật của mô hình đã ghi lại, và nếu các con số của bạn khớp với của chính mô hình, bạn hiểu mọi dòng của một transformer.
Xem nó
Hãy chạy hoạt ảnh. Một khối nhận h (t vị trí nhân d) và làm hai việc, mỗi việc được cộng trở lại vào h (đường residual của Mô-đun 6):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
Các tên trong mô hình đã ghi lại: qkv{l} chứa Wq, Wk và Wv cạnh nhau (d nhân 3d), o{l} là Wo, g1{l}, b1{l} và g2{l}, b2{l} là hai layer norm, w1{l}, w2{l} là phần feed-forward. Head h dùng các cột từ h nhân 16 tới (h + 1) nhân 16 của mỗi Q, K và V.
Từ và ký hiệu trong bài học này
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
- layer norm
- chuẩn hóa từng vector riêng: trung bình 0, độ phân tán 1, rồi nhân g cộng b
- khối transformer
- h + attention(norm(h)), rồi h + feed-forward(norm(h))
Viết block(h, l) cho một chuỗi (h là t nhân d). Mô hình đầy đủ đã được lắp sẵn cho bạn; các logit của nó phải khớp với model.logits.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.