Bước nhảy thật, hay một trò của thước đo?
Vì sao điều này quan trọng Các tiêu đề báo nói các mô hình lớn đột nhiên có được khả năng ở một kích thước nào đó: "sự trỗi dậy" (emergence). Đôi khi bước nhảy là thật. Thường thì khả năng đó đã cải thiện đều đặn suốt từ đầu và thước đo làm nó trông đột ngột (Schaeffer, Miranda và Koyejo, 2023). Biết cái nào là cái nào quyết định bạn có thể dự đoán nó hay không.
Lưới đã ghi hai điểm số trên cùng văn bản giữ lại:
- Độ chính xác theo ký tự p: tỷ lệ vị trí mà phỏng đoán hàng đầu của mô hình cho ký tự tiếp theo là đúng. Nó tăng đều theo kích thước, từ 0.27 tới 0.53 ở 1,5 triệu token.
- Đúng cả 5: tỷ lệ vị trí mà nó viết 5 ký tự tiếp theo không có lỗi nào. Được ăn cả, ngã về không.
Nếu mỗi ký tự đúng với xác suất p một cách độc lập, năm ký tự liên tiếp sẽ đúng p^5 số lần. Hãy kiểm tra điều đó với lưới trước. Rồi xem số mũ làm gì với một kỹ năng cải thiện đều. Các mô hình nhỏ này không bao giờ đi đủ xa để cho thấy toàn bộ hiệu ứng, nên phần thứ hai là một minh họa được ghi nhãn rõ ràng, không phải một phép đo: một độ chính xác theo ký tự tăng trong mười bước bằng nhau từ 0.5 tới 0.95.
Từ và ký hiệu trong bài học này
- số mũ (alpha, beta)
- giá trị mất mát giảm nhanh tới đâu khi có nhiều trọng số hơn (alpha) hoặc nhiều dữ liệu hơn (beta)
- token
- ở đây, một lần dự đoán: một ký tự
- sự trỗi dậy
- một khả năng dường như xuất hiện đột ngột ở một kích thước nào đó; đôi khi do một thước đo được-ăn-cả-ngã-về-không tạo ra
Điền pairs: cho mỗi độ rộng ở 1,5 triệu token, (p, p^5, tỷ lệ đúng cả 5 đã đo). Rồi cho phần minh họa gán all10 là p^10 cho p_even, và late_share là tỷ lệ của tổng mức tăng của all10 xảy ra trong 3 bước cuối của 10 bước. Cuối cùng gán case.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.