Layer norm: giữ mỗi vector trong phạm vi
Vì sao điều này quan trọng Mô-đun 6 giữ các activation khỏe mạnh bằng batch norm, thứ lấy trung bình trên batch. Các batch văn bản khác nhau về độ dài và việc sinh văn bản chạy từng chuỗi một, nên transformer chuẩn hóa vector của mỗi vị trí riêng rẽ: layer norm.
Với một vector x gồm d con số: trừ đi trung bình của nó, chia cho độ lệch chuẩn của nó (cộng một epsilon nhỏ xíu, 1e-5, để ta không bao giờ chia cho 0), rồi co giãn và dịch bằng g và b đã học:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
Vector của mọi token đi vào mỗi phần attention và mỗi phần feed-forward với trung bình 0 và độ phân tán 1, dù tổng chạy đã lớn tới đâu.
Từ và ký hiệu trong bài học này
- attention
- softmax của các điểm query-key, dùng để lấy trung bình các value
- layer norm
- chuẩn hóa từng vector riêng: trung bình 0, độ phân tán 1, rồi nhân g cộng b
Viết layer_norm(x, g, b) cho một array có shape bất kỳ, chuẩn hóa dọc theo trục cuối cùng. Nó phải khớp với layernorm của bộ máy của khóa học.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.