Chương trình học Bài 228 trên tổng số 246 · Mô-đun 21: Nhìn vào bên trong một mô hình
Mô-đun 21: Nhìn vào bên trong một mô hình

Bài kiểm tra vượt cấp: tìm thông tin nằm ở đâu (tắt AI)

Vì sao điều này quan trọng Vá activation là cách hầu hết các nhận định về mạch được đưa ra. Tự làm nó từ đầu, trên các đầu vào bạn không chọn, là bài kiểm tra xem bạn có thể tạo ra một nhận định như vậy không.

Luật của bài kiểm tra vượt cấp: gia sư AI tắt. Viết restoring_positions(clean, bad, answer, site) cho GPT đã ghi lại. clean và bad là hai chuỗi cùng độ dài khác nhau ở đâu đó; answer là ký tự mà clean dự đoán tiếp theo.

Gọi p_clean và p_bad là xác suất của answer sau chuỗi sạch và chuỗi bị hỏng. Một vị trí khôi phục câu trả lời khi vá giá trị sạch ở đó (tại site) cho xác suất ít nhất p_bad + keep x (p_clean - p_bad). Trả về list các vị trí như vậy, nhỏ nhất trước.

Bài kiểm tra chạy hàm của bạn trên ba cặp mới từ văn bản giữ lại, khác nhau ở mỗi lần kiểm tra, tại 'resid0', 'resid1' và 'final', và so sánh với phép vá của riêng nó.

Đến lượt bạn

Điền restoring_positions. Hãy thử nó trên ("the loss went dow", "the loss went bow", "n").

Tắt AI: không có gia sư, gợi ý hoặc lời giải mẫu cho bài này. Chỉ dùng tư duy của riêng bạn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.