Chương trình học Bài 219 trên tổng số 246 · Mô-đun 21: Nhìn vào bên trong một mô hình
Mô-đun 21: Nhìn vào bên trong một mô hình

Một đầu dò cần một đối chứng

Vì sao điều này quan trọng Một đầu dò (một bộ phân loại tuyến tính nhỏ huấn luyện trên các vector bên trong của mô hình) là công cụ phổ biến nhất trong khả năng diễn giải, và cũng bị đọc quá đà nhiều nhất. Độ chính xác cao có thể nghĩa là mô hình đã tính ra thứ đó, hoặc là đầu dò đã tính.

Bạn đã gặp đầu dò tuyến tính ở Mô-đun 18. Ở đây, huấn luyện một đầu dò trên các vector của GPT tại hai nơi: 'embed' (embedding của ký tự cộng vị trí của nó, trước bất kỳ lớp nào) và 'resid1' (sau khối đầu tiên). Ba câu hỏi, mỗi câu là một nhãn 0/1 cho mọi ký tự:

  • 'vowel': ký tự này có phải nguyên âm không?
  • 'control': nó có phải một trong b, c, g, n, r, s, t không? Một cách nhóm không có nghĩa gì, được chọn để phổ biến ngang các nguyên âm (28.7% số ký tự, so với 28.8%).
  • 'third letter': nó có phải chữ cái thứ ba của từ, hoặc sau đó không?

Hãy dự đoán trước: nếu đầu dò nguyên âm đạt gần 100%, điều đó có cho thấy mô hình đã học được nguyên âm là gì không?

Từ và ký hiệu trong bài học này
khả năng diễn giải
tìm ra một mạng đã huấn luyện tính gì bên trong, và kiểm tra điều đó
đầu dò
một bộ phân loại tuyến tính nhỏ được huấn luyện để đọc một điều gì đó từ các vector bên trong của mô hình
Đến lượt bạn

Gán my_guess là "yes" hoặc "no". Điền scores[kind][site] bằng probe(site, kind) cho ba loại và hai nơi. Rồi gán computed là loại duy nhất mà đầu dò của nó cho thấy một thứ lớp đã tính ra (nó dễ hơn nhiều sau khối so với chỉ từ embedding).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.