Gỡ trộn: một sparse autoencoder
Vì sao điều này quan trọng Nếu các đặc trưng được lưu dưới dạng chồng chập, nhìn vào các đơn vị sẽ không tìm ra chúng. Một sparse autoencoder (Bricken và cộng sự 2023, Cunningham và cộng sự 2023) cố gắng gỡ điều đó: dựng lại mỗi vector từ nhiều hướng hơn hẳn số con số nó có, nhưng mỗi lần chỉ dùng một vài hướng.
Lấy các vector 64 con số của GPT sau khối 1, cho 19.200 ký tự văn bản bài học. Một sparse autoencoder với 256 đặc trưng tính f = relu(z We + be) và dựng lại z = f Wd. Giá trị mất mát là sai số dựng lại cộng l1 nhân tổng độ lớn của f, thứ đẩy hầu hết các đặc trưng về đúng không.
interp.train_sae(A, features=256, l1=...) huấn luyện một cái; sae.unexplained(A) là tỷ lệ độ phân tán của các vector mà phép dựng lại bỏ sót (0 là hoàn hảo) và sae.features(A) cho ra f.
Hãy dự đoán trước: với một cú đẩy mạnh (l1 = 0.3), phép dựng lại có còn giải thích được phần lớn độ phân tán không (phần không giải thích được dưới 0.2)?
Từ và ký hiệu trong bài học này
- sự chồng chập
- lưu nhiều đặc trưng hơn số con số hiện có, dưới dạng các hướng hiếm khi cùng bật
- sparse autoencoder
- một lớp rộng được huấn luyện để dựng lại các vector từ một vài đặc trưng hoạt động mỗi lần
Gán my_guess là "yes" hoặc "no". Huấn luyện ở l1 0.03 và 0.3 (600 bước, mỗi bước 128 vector). Điền unexplained[l1] trên các vector giữ lại A_new, và active[l1]: số đặc trưng trung bình lớn hơn không cho mỗi ký tự giữ lại.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.