Các tham số nằm ở đâu
Vì sao điều này quan trọng "Một mô hình 7 tỷ tham số" chỉ là phép tính này ở một d lớn hơn. Biết cách đếm cho bạn biết bộ nhớ đi đâu và vì sao độ rộng đắt đỏ.
Mỗi khối, các ma trận lớn là Wq, Wk, Wv và Wo (bốn ma trận d nhân d: 4d bình phương) và phần feed-forward (d nhân 4d và 4d nhân d: 8d bình phương). Đó là 12 d bình phương, cộng thêm vài vector độ dài d cho các layer norm.
Bên ngoài các khối: các embedding token (V nhân d, cũng được dùng lại làm lớp đầu ra trong mô hình này), các vector vị trí (ctx nhân d) và layer norm cuối cùng.
Nhân đôi d nhân các tham số của khối lên 4, nhưng không nhân thời gian lên 4. Các lần chạy độ rộng 128 đã ghi lại mất trung bình khoảng 2.3 lần thời gian so với độ rộng 64 (bất kỳ đâu từ 1.1 tới 4 lần tùy lần chạy: thời gian đồng hồ trên một máy dùng chung rất nhiễu), và độ rộng 32 không nhanh hơn độ rộng 64. Ở các mô hình nhỏ cỡ này, chi phí cố định mỗi bước (Python, các array nhỏ) là một phần lớn của thời gian; hệ số 4x chỉ hiện ra khi các phép nhân ma trận chiếm ưu thế.
Từ và ký hiệu trong bài học này
- head
- một trong H attention hẹp hơn chạy cạnh nhau, mỗi cái có khuôn mẫu riêng
- vector vị trí
- được cộng vào mỗi token để attention có thể phân biệt thứ tự
- layer norm
- chuẩn hóa từng vector riêng: trung bình 0, độ phân tán 1, rồi nhân g cộng b
- 12 d bình phương
- số tham số trong các ma trận của một khối
Viết count(V, d, layers, ctx) trả về số tham số chính xác của GPT này (mỗi khối có 12 d bình phương + 4d: hai layer norm với g và b). Nó phải khớp với các mô hình thật.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.