Chương trình học Bài 203 trên tổng số 246 · Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)
Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)

Trọng số, dữ liệu, hay tính toán: cái gì đang kìm nó lại?

Vì sao điều này quan trọng Chi nhiều hơn vào sai thứ chẳng mua được gì. Một mô hình thiếu dữ liệu không cải thiện khi bạn làm nó lớn hơn; một mô hình nhỏ xíu không cải thiện khi bạn cho nó ăn nhiều hơn. Lưới cho thấy cả hai, nếu bạn biết nhìn vào đâu.

Nhìn dọc theo một hàng của lưới (một độ rộng, ngày càng nhiều dữ liệu) và xuống một cột (một lượng dữ liệu, các mô hình ngày càng rộng).

Một lần chạy bị giới hạn bởi dữ liệu khi làm mô hình rộng hơn hầu như không giúp (hoặc gây hại) ở lượng dữ liệu đó. Nó bị giới hạn bởi mô hình khi thêm dữ liệu hầu như không giúp ở độ rộng đó.

Từ và ký hiệu trong bài học này
token
ở đây, một lần dự đoán: một ký tự
bị giới hạn bởi dữ liệu, bị giới hạn bởi mô hình
khi thêm độ rộng, hoặc thêm dữ liệu, hầu như không giúp gì
Đến lượt bạn

Điền gain_wider: với 8.000 token và với 1,5 triệu token, mức giảm giá trị mất mát từ độ rộng 256 tới độ rộng 1024. Điền gain_more_data: với độ rộng 2 và với độ rộng 1024, mức giảm giá trị mất mát từ 512.000 tới 1,5 triệu token. Rồi gán verdict cho hai góc: "data-limited" hoặc "model-limited".

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.