Bài kiểm tra vượt cấp: phần toán, viết thành mã (tắt AI)
Vì sao điều này quan trọng Ba mảnh của mô-đun này quay lại ở mọi mô-đun sau: một softmax sống sót trước những con số lớn, gradient của một phép nhân ma trận, và độ phân kỳ KL. Đã biết phần toán này? Bạn có thể làm bài kiểm tra vượt cấp này trước, trước các bài học khác: qua nó là đánh dấu mô-đun này đã xong và mở mô-đun tiếp theo.
Người hướng dẫn AI tắt. Với softmax, hãy dùng mẹo dịch: trừ điểm lớn nhất khỏi mọi điểm không thay đổi gì trên giấy, nhưng giữ mọi exp nhiều nhất là 1. Logit thật có thể lớn, và một softmax trả về nan trên đầu vào lớn sẽ lặng lẽ phá hỏng một lần huấn luyện.
Từ và ký hiệu trong bài học này
- đạo hàm (df/dx)
- đầu ra thay đổi nhanh tới đâu cho mỗi đơn vị đẩy nhẹ của đầu vào
- softmax
- exp của mỗi điểm chia cho tổng: điểm trở thành xác suất
- cross-entropy
- âm log của xác suất được gán cho câu trả lời đúng
- KL(P || Q)
- hai phân phối khác nhau tới đâu; bằng không chỉ khi chúng khớp; thứ tự quan trọng
Viết, cho các mảng logit 2D (một hàng cho mỗi ví dụ):
logsumexp(z): log của tổng các exp dọc theo mỗi hàng, an toàn với các giá trị khổng lồ.stable_softmax(z): softmax dọc theo mỗi hàng, an toàn với các giá trị khổng lồ.nll(z, labels): cross-entropy trung bình được tính thẳng từ logit dưới dạnglogsumexp - z[true], không bao giờ lấy log của một softmax.matmul_grads(X, W, G): với Y = X @ W và một hàm mất mát có gradient theo Y là G, trả về(dX, dW), các gradient theo X và W, mà không dựng ma trận Jacobian nào.kl_normal(m1, s1, m2, s2): độ phân kỳ KL từ đường cong hình chuông N(m1, s1) tới N(m2, s2), trong đó s1 và s2 là độ phân tán (độ lệch chuẩn).
Các phép kiểm tra dùng shape và con số ngẫu nhiên mới mỗi lần, và so sánh với việc đẩy nhẹ và với một tích phân số.
Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Tiến độ của bạn được tính ẩn danh. Thay đổi cái này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.