Chương trình học Bài 44 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Hàm kích hoạt: chỗ bẻ cong giữa các lớp

Vì sao điều này quan trọng Không có một chỗ bẻ cong giữa các lớp, mười lớp chẳng thông minh hơn một lớp. Việc chọn chỗ bẻ cong còn quyết định gradient có chảy qua được không.

Ba hàm kích hoạt bạn sẽ gặp ở khắp nơi:

  • ReLU: max(0, z). Rẻ, và độ dốc của nó đúng bằng 1 với đầu vào dương, nên gradient đi qua không bị suy giảm. Độ dốc 0 với số âm.
  • tanh: ép vào khoảng -1 tới 1, tâm ở 0. Độ dốc 1 tại 0 nhưng gần 0 với đầu vào lớn: nó bão hòa.
  • GELU: một ReLU mượt được dùng trong transformer, khoảng z nhân sigmoid(1.702 z).

Vì sao độ dốc quan trọng

Lan truyền ngược nhân với độ dốc của mỗi hàm kích hoạt. Một độ dốc gần 0 (một tanh bão hòa, hay ReLU trên một đầu vào âm) chặn gradient. Bạn sẽ thấy điều đó gây ra những thất bại huấn luyện thật ở Mô-đun 6.

Bão hòa (saturate): nằm ở một phần phẳng của đường cong, nơi độ dốc, và vì thế gradient đi qua nó, gần như bằng không.

Tóm tắt Một hàm kích hoạt bẻ cong; độ dốc của nó quyết định bao nhiêu gradient chảy ngược về.

Từ và ký hiệu trong bài học này
sigmoid
1 / (1 + exp(-z)): ép bất kỳ con số nào vào khoảng 0 tới 1
ReLU
max(0, z): giữ số dương, đưa số âm về không
lan truyền ngược
quy tắc dây chuyền chạy ngược để có gradient của mọi trọng số
Đến lượt bạn

Viết mỗi hàm kích hoạt và độ dốc của nó: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tất cả trên mảng. Dùng xấp xỉ GELU z * sigmoid(1.702 z). Độ dốc của nó cần hai quy tắc cùng lúc: quy tắc tích (độ dốc của u × v là u' × v + u × v') và quy tắc dây chuyền bên trong sigmoid (độ dốc của sigmoid(1.702 z) là 1.702 × s(1 - s), với s = sigmoid(1.702 z)). Với độ dốc của ReLU tại đúng 0, dùng 0. Bài kiểm tra được giấu kiểm tra mọi độ dốc với một lần đẩy nhẹ.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.