Điều đã thay đổi bên trong: các sóng
Vì sao điều này quan trọng Nanda và cộng sự (2023) đã cho thấy các mạng grok được phép cộng modulo rốt cuộc tính nó bằng các sóng: mỗi số trở thành một điểm trên vài vòng tròn, và cộng các số trở thành cộng các góc. Đó là một trong số ít trường hợp mà một cơ chế đầy đủ đã được tìm ra rồi được kiểm tra.
Đọc mỗi cột embedding như một list 23 giá trị, một cho mỗi số từ 0 tới 22, và tách nó thành các sóng tần số 1 tới 11 (một sóng tần số k đi vòng k lần từ 0 tới 22; cách tách này là biến đổi Fourier). interp.frequency_shares(emb) cho tỷ lệ của mỗi tần số trong embedding (chúng cộng lại bằng 1). Nếu mô hình dùng vài sóng, vài tần số chứa phần lớn của nó; nếu trải đều, top 3 sẽ chứa 3/11 = 0.27.
Chỉ một khuôn mẫu là chưa đủ: dựng lại embedding chỉ từ một số tần số bằng interp.keep_frequencies(emb, keep) và đo độ chính xác kiểm tra. Nếu top 3 là cơ chế, chỉ giữ chúng nên giữ được phần lớn độ chính xác, và chỉ loại bỏ chúng nên phá hủy nó.
Từ và ký hiệu trong bài học này
- khuôn mẫu, hiệu ứng, cơ chế
- ba loại bằng chứng: đã nhìn và đã thấy; đã thay đổi nó và đầu ra thay đổi; đã giải thích nó và lời giải thích dự đoán được các trường hợp mới
- biến đổi Fourier
- tách một list giá trị thành các sóng có tần số khác nhau
Tải g = interp.grok_model() (lần chạy đã ghi lại với weight decay 3, sau 40.000 bước). Gán top3 là ba tần số lớn nhất của nó, top3_share là tổng tỷ lệ của chúng, và test_acc cho ba embedding: 'all', 'only top 3' và 'all but top 3'.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.