Một đầu dò cần một đối chứng
Vì sao điều này quan trọng Một đầu dò (một bộ phân loại tuyến tính nhỏ huấn luyện trên các vector bên trong của mô hình) là công cụ phổ biến nhất trong khả năng diễn giải, và cũng bị đọc quá đà nhiều nhất. Độ chính xác cao có thể nghĩa là mô hình đã tính ra thứ đó, hoặc là đầu dò đã tính.
Bạn đã gặp đầu dò tuyến tính ở Mô-đun 18. Ở đây, huấn luyện một đầu dò trên các vector của GPT tại hai nơi: 'embed' (embedding của ký tự cộng vị trí của nó, trước bất kỳ lớp nào) và 'resid1' (sau khối đầu tiên). Ba câu hỏi, mỗi câu là một nhãn 0/1 cho mọi ký tự:
'vowel': ký tự này có phải nguyên âm không?'control': nó có phải một trong b, c, g, n, r, s, t không? Một cách nhóm không có nghĩa gì, được chọn để phổ biến ngang các nguyên âm (28.7% số ký tự, so với 28.8%).'third letter': nó có phải chữ cái thứ ba của từ, hoặc sau đó không?
Hãy dự đoán trước: nếu đầu dò nguyên âm đạt gần 100%, điều đó có cho thấy mô hình đã học được nguyên âm là gì không?
Từ và ký hiệu trong bài học này
- khả năng diễn giải
- tìm ra một mạng đã huấn luyện tính gì bên trong, và kiểm tra điều đó
- đầu dò
- một bộ phân loại tuyến tính nhỏ được huấn luyện để đọc một điều gì đó từ các vector bên trong của mô hình
Gán my_guess là "yes" hoặc "no". Điền scores[kind][site] bằng probe(site, kind) cho ba loại và hai nơi. Rồi gán computed là loại duy nhất mà đầu dò của nó cho thấy một thứ lớp đã tính ra (nó dễ hơn nhiều sau khối so với chỉ từ embedding).
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.