Chương trình học Bài 164 trên tổng số 246 · Mô-đun 14: Phòng khám lần chạy II
Mô-đun 14: Phòng khám lần chạy II

Tin trợ lý không? Phiên bản chuỗi

Vì sao điều này quan trọng Cùng kỹ năng như Mô-đun 8, lỗi khó hơn: vài cái trong số này trông giống nhau nếu chỉ nhìn đường cong mất mát, nên một trợ lý chỉ đọc đường cong làm sai chúng với sự tự tin tuyệt đối.

Một trợ lý AI đã gọi tên một lỗi cho mỗi lần chạy trong tám lần chạy hỏng. Một số khẳng định sai. Hãy cảnh giác với những cặp có chung một triệu chứng: hai lỗi đều có thể làm giá trị mất mát huấn luyện thấp một cách đáng ngờ, và hai lỗi đều có thể làm nó đình trệ.

Đầu dòNó cho bạn biết gìLần chạy lành mạnh
loss_curve(c)Giá trị mất mát huấn luyện mỗi 25 bước, và giá trị mất mát trên văn bản chưa thấy ở cuối. Luôn nhìn cái này trước.4.55 giảm xuống khoảng 2.9; chưa thấy khoảng 3.0
loss_at_init(c)Giá trị mất mát trước khi huấn luyện. Một mô hình mới đoán đều trên 95 ký tự cho ln(95).4.55
leak_check(c)Một ký tự phía sau có thể thay đổi một dự đoán phía trước không?False
show_batch(c)Một đầu vào huấn luyện và mục tiêu của nó, dưới dạng văn bản.mục tiêu = đầu vào dịch sang trái một ký tự
update_ratio(c)Sau bước Adam đầu tiên, các trọng số đã dịch bao xa so với kích thước của chúng. Không phải quy tắc của Mô-đun 8: khoảng 0.001 tới 0.1 đó là cho các bước SGD thuần. Bước đầu tiên của Adam dịch mọi trọng số khoảng bằng tốc độ học dù gradient của nó là gì, và các trọng số này bắt đầu gần 0.02, nên 0.01 / 0.02 cho khoảng 0.5. Hãy so sánh một trường hợp với lần chạy lành mạnh này, không phải với khoảng của Mô-đun 8.khoảng 0.5
block_change(c)Khối đầu tiên thay đổi mỗi vector bao nhiêu lúc bắt đầu.khoảng 0.3
Từ và ký hiệu trong bài học này
ln(V)
giá trị mất mát ban đầu của một mô hình đoán đều trên V ký hiệu: 4.55 với 95 ký tự
block change
một khối thay đổi một vector bao nhiêu lúc bắt đầu; gần 1 nghĩa là nó đã thay thế vector đó
Đến lượt bạn

Với mỗi trường hợp A tới H, gán verdicts[case] là True (trợ lý đúng) hoặc False. Bạn cần đúng ít nhất 7 trên 8.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.