Chương trình học Bài 38 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Bài kiểm tra vượt cấp: phần toán, viết thành mã (tắt AI)

Vì sao điều này quan trọng Ba mảnh của mô-đun này quay lại ở mọi mô-đun sau: một softmax sống sót trước những con số lớn, gradient của một phép nhân ma trận, và độ phân kỳ KL. Đã biết phần toán này? Bạn có thể làm bài kiểm tra vượt cấp này trước, trước các bài học khác: qua nó là đánh dấu mô-đun này đã xong và mở mô-đun tiếp theo.

Người hướng dẫn AI tắt. Với softmax, hãy dùng mẹo dịch: trừ điểm lớn nhất khỏi mọi điểm không thay đổi gì trên giấy, nhưng giữ mọi exp nhiều nhất là 1. Logit thật có thể lớn, và một softmax trả về nan trên đầu vào lớn sẽ lặng lẽ phá hỏng một lần huấn luyện.

Từ và ký hiệu trong bài học này
đạo hàm (df/dx)
đầu ra thay đổi nhanh tới đâu cho mỗi đơn vị đẩy nhẹ của đầu vào
softmax
exp của mỗi điểm chia cho tổng: điểm trở thành xác suất
cross-entropy
âm log của xác suất được gán cho câu trả lời đúng
KL(P || Q)
hai phân phối khác nhau tới đâu; bằng không chỉ khi chúng khớp; thứ tự quan trọng
Đến lượt bạn

Viết, cho các mảng logit 2D (một hàng cho mỗi ví dụ):

  • logsumexp(z): log của tổng các exp dọc theo mỗi hàng, an toàn với các giá trị khổng lồ.
  • stable_softmax(z): softmax dọc theo mỗi hàng, an toàn với các giá trị khổng lồ.
  • nll(z, labels): cross-entropy trung bình được tính thẳng từ logit dưới dạng logsumexp - z[true], không bao giờ lấy log của một softmax.
  • matmul_grads(X, W, G): với Y = X @ W và một hàm mất mát có gradient theo Y là G, trả về (dX, dW), các gradient theo X và W, mà không dựng ma trận Jacobian nào.
  • kl_normal(m1, s1, m2, s2): độ phân kỳ KL từ đường cong hình chuông N(m1, s1) tới N(m2, s2), trong đó s1 và s2 là độ phân tán (độ lệch chuẩn).

Các phép kiểm tra dùng shape và con số ngẫu nhiên mới mỗi lần, và so sánh với việc đẩy nhẹ và với một tích phân số.

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Mã nguồn · chạy trên trình duyệt của bạn
Kết quả đầu ra

        

Tiến độ của bạn được tính ẩn danh. Thay đổi cái này