Chương trình học Bài 45 trên tổng số 246 · Mô-đun 3: Từ nơ-ron tới MLP
Mô-đun 3: Từ nơ-ron tới MLP

Mọi đường cong từ những cái bướu (xấp xỉ phổ quát)

Vì sao điều này quan trọng Người ta nói một mạng có một lớp ẩn có thể khớp với mọi đường cong. Ở đây bạn thấy vì sao, bằng cách tự dựng nó từ những cái bướu.

Xem nó

Một sigmoid rất dốc là một bậc thang: 0 ở bên trái, 1 ở bên phải. Hai bậc thang, một đi lên tại left và một đi xuống tại right, tạo thành một cái bướu: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Đó là hai nơ-ron ẩn và một trọng số đầu ra. Đặt các cái bướu cạnh nhau, mỗi cái cao bằng đường cong tại vị trí của nó, và bạn vẽ lại được mọi đường cong, như một biểu đồ cột. Nhiều nơ-ron hơn, cột mảnh hơn, khớp sát hơn.

Xấp xỉ phổ quát (universal approximation): một lớp ẩn với đủ nơ-ron có thể tới gần bất kỳ đường cong hợp lý nào tùy ý. Nó không nói gì về việc những trọng số đó dễ tìm ra bằng huấn luyện tới đâu.

Tóm tắt Hai nơ-ron tạo một cái bướu; đủ bướu tạo ra mọi thứ.

Từ và ký hiệu trong bài học này
nơ-ron
w . x + b, rồi một hàm kích hoạt
trọng số (w, W), độ lệch (b)
các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
sigmoid
1 / (1 + exp(-z)): ép bất kỳ con số nào vào khoảng 0 tới 1
lớp ẩn
một lớp giữa đầu vào và đầu ra dựng nên các đặc trưng mới
Đến lượt bạn

Viết bump(x, left, right, height, s=60), rồi approx(x, f, n_bumps) chia 0 tới pi thành n_bumps mảnh bằng nhau và thêm một cái bướu cho mỗi mảnh, mỗi cái có chiều cao bằng f tại điểm giữa mảnh của nó. Với 10 cái bướu (20 nơ-ron), sai số bình phương trung bình so với sin trên 0 tới pi phải dưới 0.01.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.