Chương trình học Bài 34 trên tổng số 246 · Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Biến điểm thành xác suất (softmax)

Vì sao điều này quan trọng Một bộ phân loại chữ số kết thúc với 10 điểm thô, mỗi chữ số một điểm. Để đọc chúng như "mỗi chữ số có khả năng tới đâu", chúng phải dương và cộng lại bằng 1.

Những con số nhỏ xíu

Điểm [2, 1, 0]. Làm chúng dương bằng exp: khoảng [7.39, 2.72, 1.00]. Chia cho tổng, 11.11: [0.665, 0.245, 0.090]. Chúng cộng lại bằng 1, giữ cùng thứ tự, và một điểm cao hơn luôn có nghĩa là một xác suất cao hơn.

Softmax: exp của mỗi điểm, chia cho tổng mọi exp. Logit: các điểm thô đi vào.

Một cái bẫy: cộng cùng một con số vào mọi điểm không thay đổi gì (nó triệt tiêu trong phép chia). Hãy thử [1002, 1001, 1000]: trên giấy cùng câu trả lời như [2, 1, 0], nhưng exp(1002) bị tràn số trên máy tính. Bạn sẽ sửa điều đó trong bài kiểm tra vượt cấp.

Tóm tắt exp, rồi chia cho tổng.

Từ và ký hiệu trong bài học này
softmax
exp của mỗi điểm chia cho tổng: điểm trở thành xác suất
Đến lượt bạn

Viết softmax(z) cho một mảng 1D (phiên bản đơn giản là được ở đây), và shift_invariant: gán nó là True nếu cộng cùng một con số vào mọi điểm giữ nguyên đầu ra, hoặc False nếu nó thay đổi đầu ra.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.