Chương trình học Bài 42 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Thất bại có ích: XOR với một nơ-ron

Vì sao điều này quan trọng Cố ý thất bại ở đây dạy bạn, tốt hơn mọi lời giải thích, vì sao các mạng cần nhiều hơn một lớp.

XOR ("hoặc loại trừ") là 1 khi đúng một trong hai đầu vào là 1. Bốn điểm: (0,0) là 0, (0,1) là 1, (1,0) là 1, (1,1) là 0. Việc của bạn: làm cho nơ-ron logistic từ bài học trước làm đúng cả bốn. Hãy thử bất kỳ tốc độ học nào, bất kỳ số bước nào và bất kỳ seed nào.

Nơ-ron ở đây bắt đầu từ các trọng số ngẫu nhiên. Điều đó quan trọng: bắt đầu từ toàn số không, trên XOR gradient của nó chính xác bằng 0 do tính đối xứng (bốn điểm kéo bằng nhau theo các hướng ngược nhau), nên nó sẽ không bao giờ dịch chuyển. Đó là một thất bại khác với thất bại mà bài học này nói tới, nên ta loại trừ nó.

Hãy dành vài phút thật sự cố gắng trước khi đọc gợi ý. Vật lộn trước chính là mục đích: nghiên cứu về việc học thấy rằng những người thử một bài toán trước khi được dạy ý tưởng thì hiểu nó tốt hơn sau đó.

Từ và ký hiệu trong bài học này
nơ-ron
w . x + b, rồi một hàm kích hoạt
trọng số (w, W), độ lệch (b)
các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
sigmoid
1 / (1 + exp(-z)): ép bất kỳ con số nào vào khoảng 0 tới 1
tốc độ học (lr)
mỗi bước huấn luyện lớn tới đâu
Đến lượt bạn

Dùng train_logistic(X, y, lr, steps, seed) trên XOR với ít nhất ba thiết lập khác nhau, và đưa độ chính xác của mỗi kết quả vào my_attempts. Rồi gán reason là chữ cái của lời giải thích đúng:

A: nó cần nhiều bước hơn. B: một nơ-ron duy nhất chỉ có thể chia mặt phẳng bằng một đường thẳng, và không đường thẳng nào tách được XOR. C: tốc độ học sai. D: bốn điểm là quá ít để học.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.