Chương trình học Bài 220 trên tổng số 246 · Mô-đun 21: Nhìn vào bên trong một mô hình
Mô-đun 21: Nhìn vào bên trong một mô hình

Đặt lại một giá trị: vá activation

Vì sao điều này quan trọng Vá activation (Meng và cộng sự 2022, Wang và cộng sự 2022) biến "phần này khớp với câu trả lời" thành "phần này mang câu trả lời", bằng cách chuyển một giá trị từ một lần chạy sang lần chạy khác.

Hai đầu vào khác nhau ở một ký tự:

  • sạch: "the gradient of the los": GPT cho ký tự tiếp theo "s" xác suất 0.91.
  • bị hỏng: "the gradient of the bos": 0.39.

Chạy đầu vào bị hỏng, nhưng ở một nơi và một vị trí, thay vào vector từ lần chạy sạch. Nếu xác suất của "s" nhảy trở lại 0.91, vector đó đã mang điều mà chữ "l" nói với mô hình. interp.patch(model, clean_ids, bad_ids, site, pos) thực hiện việc thay và trả về các logit; interp.next_prob(logits, answer, model) đọc xác suất.

Hãy thử nó ở 'resid0' (trước khối 0, nên chỉ là các embedding), 'resid1' (giữa các khối) và 'final', cho năm vị trí cuối.

Hãy dự đoán trước: ở 'resid1', chữ "l" vẫn được mang ở chính vị trí của nó, hay ở đâu đó khác?

Từ và ký hiệu trong bài học này
vá activation
chạy một đầu vào với một giá trị lấy từ lần chạy của một đầu vào khác, để xem giá trị đó mang gì
Đến lượt bạn

Gán my_guess là "own position" hoặc "somewhere else". Điền restored[site] bằng một list năm xác suất, một cho mỗi vị trí từ len(clean) - 5 tới cuối. Rồi gán where[site] là ký tự của clean ở vị trí khôi phục được nó.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.