Chương trình học Bài 225 trên tổng số 246 · Mô-đun 21: Nhìn vào bên trong một mô hình
Mô-đun 21: Nhìn vào bên trong một mô hình

Đọc một đặc trưng, và kiểm tra cách đọc

Vì sao điều này quan trọng Một đặc trưng được đặt tên từ các ví dụ hàng đầu của nó. Cái tên đó là một giả thuyết, và hầu hết các nhãn đặc trưng đã công bố chưa bao giờ được kiểm tra trên văn bản mà người gắn nhãn chưa thấy.

Tải sparse autoencoder đã ghi lại của khóa học (256 đặc trưng, l1 0.3, huấn luyện 2.000 bước mỗi bước 512 vector, lâu hơn một bài học cho phép, và cùng các đặc trưng trên mọi máy) và chọn, cho vài chuỗi, đặc trưng đặc thù nhất cho các vị trí mà văn bản kết thúc bằng chuỗi đó. Rồi gắn nhãn nó và kiểm tra nhãn trên văn bản giữ lại:

  • độ chính xác (precision): trong các chỗ của văn bản giữ lại mà đặc trưng bật mạnh (trên một nửa giá trị lớn nhất của nó khi huấn luyện), tỷ lệ chỗ mà văn bản thực sự kết thúc bằng chuỗi đó;
  • độ bao phủ (recall): trong các chỗ của văn bản giữ lại kết thúc bằng chuỗi đó, tỷ lệ chỗ mà nó bật.

interp.top_contexts(sae, A, X, model, k) cho thấy nơi đặc trưng k bật mạnh nhất, dưới dạng văn bản tới ký tự đó.

Hãy dự đoán trước: đặc trưng cho "tra" bật mạnh nhất trên " before tra" và " layers tra" (phần đầu của "train"). Liệu nhãn "tra" có đúng phần lớn thời gian trên văn bản mới không?

Từ và ký hiệu trong bài học này
sparse autoencoder
một lớp rộng được huấn luyện để dựng lại các vector từ một vài đặc trưng hoạt động mỗi lần
độ chính xác, độ bao phủ (của một nhãn)
trong các chỗ một đặc trưng bật, tỷ lệ chỗ nhãn phù hợp; trong các chỗ nhãn phù hợp, tỷ lệ chỗ nó bật
Đến lượt bạn

Gán my_guess là "yes" hoặc "no". Viết check(k, s) trả về (precision, recall) trên các vector giữ lại, trong đó đặc trưng bật ở một chỗ khi giá trị của nó ở đó lớn hơn một nửa giá trị lớn nhất của nó trên các vector huấn luyện (F[:, k].max()). Điền results[s] = check(feature_for(s), s) cho " the", "ing" và "tra". Gán honest_label là các chuỗi có nhãn đứng vững (độ chính xác ít nhất 0.7) và really là đuôi ba chữ cái mà đặc trưng "tra" bật nhiều nhất trên văn bản giữ lại.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.