Hàm kích hoạt: chỗ bẻ cong giữa các lớp
Vì sao điều này quan trọng Không có một chỗ bẻ cong giữa các lớp, mười lớp chẳng thông minh hơn một lớp. Việc chọn chỗ bẻ cong còn quyết định gradient có chảy qua được không.
Ba hàm kích hoạt bạn sẽ gặp ở khắp nơi:
- ReLU: max(0, z). Rẻ, và độ dốc của nó đúng bằng 1 với đầu vào dương, nên gradient đi qua không bị suy giảm. Độ dốc 0 với số âm.
- tanh: ép vào khoảng -1 tới 1, tâm ở 0. Độ dốc 1 tại 0 nhưng gần 0 với đầu vào lớn: nó bão hòa.
- GELU: một ReLU mượt được dùng trong transformer, khoảng z nhân sigmoid(1.702 z).
Vì sao độ dốc quan trọng
Lan truyền ngược nhân với độ dốc của mỗi hàm kích hoạt. Một độ dốc gần 0 (một tanh bão hòa, hay ReLU trên một đầu vào âm) chặn gradient. Bạn sẽ thấy điều đó gây ra những thất bại huấn luyện thật ở Mô-đun 6.
Bão hòa (saturate): nằm ở một phần phẳng của đường cong, nơi độ dốc, và vì thế gradient đi qua nó, gần như bằng không.
Tóm tắt Một hàm kích hoạt bẻ cong; độ dốc của nó quyết định bao nhiêu gradient chảy ngược về.
Từ và ký hiệu trong bài học này
- sigmoid
- 1 / (1 + exp(-z)): ép bất kỳ con số nào vào khoảng 0 tới 1
- ReLU
- max(0, z): giữ số dương, đưa số âm về không
- lan truyền ngược
- quy tắc dây chuyền chạy ngược để có gradient của mọi trọng số
Viết mỗi hàm kích hoạt và độ dốc của nó: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, tất cả trên mảng. Dùng xấp xỉ GELU z * sigmoid(1.702 z). Độ dốc của nó cần hai quy tắc cùng lúc: quy tắc tích (độ dốc của u × v là u' × v + u × v') và quy tắc dây chuyền bên trong sigmoid (độ dốc của sigmoid(1.702 z) là 1.702 × s(1 - s), với s = sigmoid(1.702 z)). Với độ dốc của ReLU tại đúng 0, dùng 0. Bài kiểm tra được giấu kiểm tra mọi độ dốc với một lần đẩy nhẹ.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.