Nhiều đặc trưng hơn chỗ chứa: sự chồng chập
Vì sao điều này quan trọng Nếu mỗi đơn vị có một nghĩa, đọc một mạng sẽ dễ. Chúng thường không như vậy, và mô hình đồ chơi của Elhage và cộng sự (2022) cho thấy vì sao: một mạng có thể lưu nhiều đặc trưng hơn số con số nó có, miễn là các đặc trưng hiếm khi cùng bật.
Mô hình đồ chơi: 5 đặc trưng, mỗi cái phần lớn thời gian bằng 0 và lúc khác là một số giữa 0 và 1. Một ma trận W (2 nhân 5) ép chúng vào chỉ 2 con số, h = W x, và mô hình đọc chúng lại dưới dạng relu(WT h + b). Đặc trưng i quan trọng 0.9i lần trong giá trị mất mát (đặc trưng 0 quan trọng nhất). Cột i của W là hướng mà đặc trưng i được lưu; một cột gần không nghĩa là đặc trưng đã bị bỏ.
interp.superposition(sparsity=s) huấn luyện nó (s = khả năng mỗi đặc trưng bằng 0). interp.stored(W) liệt kê các đặc trưng nó giữ lại và interp.angles(W) các góc giữa chúng.
Hãy dự đoán trước: khi các đặc trưng hiếm khi bật (độ thưa 0.97), 2 con số có thể giữ bao nhiêu trong 5 đặc trưng?
Từ và ký hiệu trong bài học này
- sự chồng chập
- lưu nhiều đặc trưng hơn số con số hiện có, dưới dạng các hướng hiếm khi cùng bật
Gán my_guess là một số từ 2 tới 5. Huấn luyện ở độ thưa 0, 0.7 và 0.97 (seed 0) và điền kept[s] với số đặc trưng được lưu, và smallest_angle[s] với góc nhỏ nhất giữa hai đặc trưng được lưu.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.