Chương trình học Bài 223 trên tổng số 246 · Mô-đun 21: Nhìn vào bên trong một mô hình
Mô-đun 21: Nhìn vào bên trong một mô hình

Nhiều đặc trưng hơn chỗ chứa: sự chồng chập

Vì sao điều này quan trọng Nếu mỗi đơn vị có một nghĩa, đọc một mạng sẽ dễ. Chúng thường không như vậy, và mô hình đồ chơi của Elhage và cộng sự (2022) cho thấy vì sao: một mạng có thể lưu nhiều đặc trưng hơn số con số nó có, miễn là các đặc trưng hiếm khi cùng bật.

Mô hình đồ chơi: 5 đặc trưng, mỗi cái phần lớn thời gian bằng 0 và lúc khác là một số giữa 0 và 1. Một ma trận W (2 nhân 5) ép chúng vào chỉ 2 con số, h = W x, và mô hình đọc chúng lại dưới dạng relu(WT h + b). Đặc trưng i quan trọng 0.9i lần trong giá trị mất mát (đặc trưng 0 quan trọng nhất). Cột i của W là hướng mà đặc trưng i được lưu; một cột gần không nghĩa là đặc trưng đã bị bỏ.

interp.superposition(sparsity=s) huấn luyện nó (s = khả năng mỗi đặc trưng bằng 0). interp.stored(W) liệt kê các đặc trưng nó giữ lại và interp.angles(W) các góc giữa chúng.

Hãy dự đoán trước: khi các đặc trưng hiếm khi bật (độ thưa 0.97), 2 con số có thể giữ bao nhiêu trong 5 đặc trưng?

Từ và ký hiệu trong bài học này
sự chồng chập
lưu nhiều đặc trưng hơn số con số hiện có, dưới dạng các hướng hiếm khi cùng bật
Đến lượt bạn

Gán my_guess là một số từ 2 tới 5. Huấn luyện ở độ thưa 0, 0.7 và 0.97 (seed 0) và điền kept[s] với số đặc trưng được lưu, và smallest_angle[s] với góc nhỏ nhất giữa hai đặc trưng được lưu.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.