Đọc một đặc trưng, và kiểm tra cách đọc
Vì sao điều này quan trọng Một đặc trưng được đặt tên từ các ví dụ hàng đầu của nó. Cái tên đó là một giả thuyết, và hầu hết các nhãn đặc trưng đã công bố chưa bao giờ được kiểm tra trên văn bản mà người gắn nhãn chưa thấy.
Tải sparse autoencoder đã ghi lại của khóa học (256 đặc trưng, l1 0.3, huấn luyện 2.000 bước mỗi bước 512 vector, lâu hơn một bài học cho phép, và cùng các đặc trưng trên mọi máy) và chọn, cho vài chuỗi, đặc trưng đặc thù nhất cho các vị trí mà văn bản kết thúc bằng chuỗi đó. Rồi gắn nhãn nó và kiểm tra nhãn trên văn bản giữ lại:
- độ chính xác (precision): trong các chỗ của văn bản giữ lại mà đặc trưng bật mạnh (trên một nửa giá trị lớn nhất của nó khi huấn luyện), tỷ lệ chỗ mà văn bản thực sự kết thúc bằng chuỗi đó;
- độ bao phủ (recall): trong các chỗ của văn bản giữ lại kết thúc bằng chuỗi đó, tỷ lệ chỗ mà nó bật.
interp.top_contexts(sae, A, X, model, k) cho thấy nơi đặc trưng k bật mạnh nhất, dưới dạng văn bản tới ký tự đó.
Hãy dự đoán trước: đặc trưng cho "tra" bật mạnh nhất trên " before tra" và " layers tra" (phần đầu của "train"). Liệu nhãn "tra" có đúng phần lớn thời gian trên văn bản mới không?
Từ và ký hiệu trong bài học này
- sparse autoencoder
- một lớp rộng được huấn luyện để dựng lại các vector từ một vài đặc trưng hoạt động mỗi lần
- độ chính xác, độ bao phủ (của một nhãn)
- trong các chỗ một đặc trưng bật, tỷ lệ chỗ nhãn phù hợp; trong các chỗ nhãn phù hợp, tỷ lệ chỗ nó bật
Gán my_guess là "yes" hoặc "no". Viết check(k, s) trả về (precision, recall) trên các vector giữ lại, trong đó đặc trưng bật ở một chỗ khi giá trị của nó ở đó lớn hơn một nửa giá trị lớn nhất của nó trên các vector huấn luyện (F[:, k].max()). Điền results[s] = check(feature_for(s), s) cho " the", "ing" và "tra". Gán honest_label là các chuỗi có nhãn đứng vững (độ chính xác ít nhất 0.7) và really là đuôi ba chữ cái mà đặc trưng "tra" bật nhiều nhất trên văn bản giữ lại.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.