Mọi đường cong từ những cái bướu (xấp xỉ phổ quát)
Vì sao điều này quan trọng Người ta nói một mạng có một lớp ẩn có thể khớp với mọi đường cong. Ở đây bạn thấy vì sao, bằng cách tự dựng nó từ những cái bướu.
Xem nó
Một sigmoid rất dốc là một bậc thang: 0 ở bên trái, 1 ở bên phải. Hai bậc thang, một đi lên tại left và một đi xuống tại right, tạo thành một cái bướu: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Đó là hai nơ-ron ẩn và một trọng số đầu ra. Đặt các cái bướu cạnh nhau, mỗi cái cao bằng đường cong tại vị trí của nó, và bạn vẽ lại được mọi đường cong, như một biểu đồ cột. Nhiều nơ-ron hơn, cột mảnh hơn, khớp sát hơn.
Xấp xỉ phổ quát (universal approximation): một lớp ẩn với đủ nơ-ron có thể tới gần bất kỳ đường cong hợp lý nào tùy ý. Nó không nói gì về việc những trọng số đó dễ tìm ra bằng huấn luyện tới đâu.
Tóm tắt Hai nơ-ron tạo một cái bướu; đủ bướu tạo ra mọi thứ.
Từ và ký hiệu trong bài học này
- nơ-ron
- w . x + b, rồi một hàm kích hoạt
- trọng số (w, W), độ lệch (b)
- các con số mà một nơ-ron học; độ lệch dời đầu ra của nó
- sigmoid
- 1 / (1 + exp(-z)): ép bất kỳ con số nào vào khoảng 0 tới 1
- lớp ẩn
- một lớp giữa đầu vào và đầu ra dựng nên các đặc trưng mới
Viết bump(x, left, right, height, s=60), rồi approx(x, f, n_bumps) chia 0 tới pi thành n_bumps mảnh bằng nhau và thêm một cái bướu cho mỗi mảnh, mỗi cái có chiều cao bằng f tại điểm giữa mảnh của nó. Với 10 cái bướu (20 nơ-ron), sai số bình phương trung bình so với sin trên 0 tới pi phải dưới 0.01.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.