Chương trình học Bài 83 trên tổng số 246 · Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Mô-đun 6: Trọng số ban đầu và chuẩn hóa

LayerNorm và RMSNorm

Vì sao điều này quan trọng Transformer không dùng BatchNorm. Chúng chuẩn hóa mỗi ví dụ riêng, điều này tránh được cái bẫy batch bạn vừa gặp và hoạt động với bất kỳ kích thước batch nào.

  • LayerNorm chuẩn hóa trên các đặc trưng của mỗi ví dụ (mỗi hàng): trừ trung bình của hàng, chia cho độ phân tán của hàng, rồi gamma và beta cho mỗi đặc trưng. Giống nhau khi huấn luyện và khi dùng.
  • RMSNorm đơn giản hơn và được nhiều mô hình ngôn ngữ gần đây dùng: bỏ qua trung bình, và chia mỗi hàng cho căn quân phương của nó, sqrt(mean(x squared) + eps), rồi nhân với gamma.

Những con số nhỏ xíu

Hàng [3, 4]. RMS = sqrt((9 + 16) / 2) = 3.536. RMSNorm cho [0.849, 1.131]. LayerNorm trừ trung bình 3.5 trước: [-1, 1].

Từ và ký hiệu trong bài học này
Xavier, LeCun, He
độ phân tán ban đầu sqrt(2 / (inputs + outputs)) hoặc 1 / sqrt(inputs) cho tanh, và sqrt(2 / inputs) cho ReLU
BatchNorm (gamma, beta)
chuẩn hóa mỗi đặc trưng trên batch, rồi co giãn lại bằng gamma và beta đã học
LayerNorm, RMSNorm
chuẩn hóa mỗi ví dụ riêng, trên các đặc trưng của nó
Đến lượt bạn

Viết layernorm(X, gamma, beta, eps=1e-5) và rmsnorm(X, gamma, eps=1e-6), cả hai theo từng hàng.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.