Đặt lại một giá trị: vá activation
Vì sao điều này quan trọng Vá activation (Meng và cộng sự 2022, Wang và cộng sự 2022) biến "phần này khớp với câu trả lời" thành "phần này mang câu trả lời", bằng cách chuyển một giá trị từ một lần chạy sang lần chạy khác.
Hai đầu vào khác nhau ở một ký tự:
- sạch: "the gradient of the los": GPT cho ký tự tiếp theo "s" xác suất 0.91.
- bị hỏng: "the gradient of the bos": 0.39.
Chạy đầu vào bị hỏng, nhưng ở một nơi và một vị trí, thay vào vector từ lần chạy sạch. Nếu xác suất của "s" nhảy trở lại 0.91, vector đó đã mang điều mà chữ "l" nói với mô hình. interp.patch(model, clean_ids, bad_ids, site, pos) thực hiện việc thay và trả về các logit; interp.next_prob(logits, answer, model) đọc xác suất.
Hãy thử nó ở 'resid0' (trước khối 0, nên chỉ là các embedding), 'resid1' (giữa các khối) và 'final', cho năm vị trí cuối.
Hãy dự đoán trước: ở 'resid1', chữ "l" vẫn được mang ở chính vị trí của nó, hay ở đâu đó khác?
Từ và ký hiệu trong bài học này
- vá activation
- chạy một đầu vào với một giá trị lấy từ lần chạy của một đầu vào khác, để xem giá trị đó mang gì
Gán my_guess là "own position" hoặc "somewhere else". Điền restored[site] bằng một list năm xác suất, một cho mỗi vị trí từ len(clean) - 5 tới cuối. Rồi gán where[site] là ký tự của clean ở vị trí khôi phục được nó.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.