Đi tìm một induction head
Vì sao điều này quan trọng Induction head (Olsson và cộng sự 2022) là câu chuyện nổi tiếng nhất trong khả năng diễn giải: một head tìm bản sao trước đó của token hiện tại và chú ý tới token đứng sau nó, để mô hình có thể tiếp tục một đoạn lặp. Nó có thật trong các mô hình lớn. Sai lầm là cho rằng một mô hình nhỏ sao chép theo cùng cách chỉ vì nó sao chép được.
Khóa học đã huấn luyện một GPT 2 khối chỉ để sao chép: mỗi hàng là một chuỗi ngẫu nhiên 4 tới 16 chữ cái, lặp lại cho đầy 32 vị trí. Chuỗi đầu tiên không thể dự đoán được (giá trị mất mát khoảng ln 26 = 3.26); sau đó, mọi chữ cái đều có thể được sao chép. Mô hình đã học được cách sao chép: giá trị mất mát của nó trên các đoạn lặp khoảng 0.13 tới 0.15 (tùy mẫu).
Dự đoán của sách giáo khoa: một head nào đó dồn phần lớn attention của nó vào chữ cái đứng sau một bản sao trước đó của chữ cái hiện tại. Hãy đo nó. Với mỗi head, tỷ lệ attention, lấy trung bình trên các vị trí lặp, rơi vào các vị trí j mà chữ cái trước j bằng chữ cái hiện tại. So sánh với attention đều, thứ trải đều trên mọi vị trí trước đó. Rồi loại bỏ từng head và đo giá trị mất mát trên đoạn lặp.
Hãy dự đoán trước: liệu có head nào dồn hơn một nửa attention của nó vào đó không?
Lĩnh vực này hiện đang ở đâu Induction head có thật: Olsson và cộng sự (2022) đã thấy chúng hình thành, trong một bước chuyển pha đột ngột, ở các mô hình huấn luyện trên văn bản thông thường, kể cả các mô hình hai lớp chỉ có attention. Vì sao không ở đây? Mô hình này có MLP và layer norm, được huấn luyện ngắn trên một nhiệm vụ sao chép tổng hợp duy nhất với vài lời giải khả dĩ, và nó đã tìm ra một lời giải khác. Đó là điểm chính của bài học, và cũng là giới hạn của nó: một mô hình đồ chơi không cho thấy một hiệu ứng đã công bố không phải là bằng chứng chống lại hiệu ứng đó. Kết quả từ các mô hình nhỏ của khóa học này là phép đo của chính các mô hình đó; ở quy mô lớn, một số sẽ đúng và một số sẽ không.
Từ và ký hiệu trong bài học này
- khả năng diễn giải
- tìm ra một mạng đã huấn luyện tính gì bên trong, và kiểm tra điều đó
- khuôn mẫu, hiệu ứng, cơ chế
- ba loại bằng chứng: đã nhìn và đã thấy; đã thay đổi nó và đầu ra thay đổi; đã giải thích nó và lời giải thích dự đoán được các trường hợp mới
- induction head
- một head tìm một bản sao trước đó của token hiện tại và chú ý tới token đứng sau nó
Gán my_guess là "yes" hoặc "no". Viết induction_share(A, X, Ls): với các trọng số attention A (B, t, t) của một head, trung bình trên các hàng b và các vị trí lặp i (từ Ls[b] tới t - 1) của attention trên các vị trí j ≤ i có X[b, j - 1] == X[b, i] (j ≥ 1). Điền share[(layer, head)] cho 8 head và removed[(layer, head)] với giá trị mất mát trên đoạn lặp khi head đó bị đặt về không. Gán needed là head mà việc loại bỏ gây hại nhiều nhất.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.