Tất cả khóa học Miễn phí · Không cần tài khoản · Trên trình duyệt của bạn

Mạng nơ-ron: Từ nơ-ron tới Transformer

Tự xây dựng mạng nơ-ron, từ một nơ-ron tới một transformer, rồi các mô hình sinh, khuếch tán, quy luật mở rộng quy mô và nhìn vào bên trong một mô hình, bằng Python thuần và NumPy, huấn luyện ngay trong trình duyệt của bạn. Tự viết autograd của riêng bạn, chẩn đoán những lần chạy hỏng, đánh giá các khẳng định bằng bằng chứng, và kết thúc với một bài tổng kết bạn có thể phát lại. Miễn phí, không cần tài khoản.

25 module 246 bài học 246 bài tập tự động chấm điểm Tự học · ~143 tài liệu Huấn luyện ngay trên trình duyệt, không cần GPUDự đoán đường cong, sau đó chạy nó
Tiến độ của bạn Hoàn thành 246 / 0 bài tập
Mục tiêu hàng ngày
Mô-đun 1 · 60 phút

Mô-đun 0: Vạch xuất phát

Bạn sẽ có thể: nói được khóa học hoạt động ra sao và nó đo lường gì; đưa ra một dự đoán và đối chiếu nó với một lần chạy; ghi lại điểm xuất phát của bạn trên bốn mặt đồng hồ; đo tốc độ thiết bị của bạn bằng FLOP.

Mô-đun 2 · về 8 h

Mô-đun 1: Python cho khóa học này

Bạn sẽ có thể: viết và kiểm thử các hàm trên list và dict; dùng mảng NumPy, shape, cắt lát và broadcasting thay cho vòng lặp; đặt seed cho tính ngẫu nhiên để tái lập được; viết các lớp nhỏ và closure. Được kiểm tra bằng bài kiểm tra vượt cấp Python (đã thành thạo? hãy làm nó trước: qua nó là bỏ qua mô-đun).

Trang 1 trên tổng số 7 · lớp mạng Vạch xuất phát Hoàn thành tất cả 5 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 3 · về 7 h

Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết

Bạn sẽ có thể: tính tích vô hướng, phép nhân ma trận và broadcasting; tìm độ dốc bằng cách đẩy nhẹ và bằng quy tắc dây chuyền, cho các con số và cho cả ma trận; giải thích độ phân tán cộng dồn ra sao và một trị riêng làm gì; suy ra gradient của softmax; viết log-sum-exp, softmax và cross-entropy không bao giờ tràn số (bài kiểm tra vượt cấp).

✓ 22 Những ngôi nhà dưới dạng list các con số (vector) bài tập 20 phút Xem ✓ 23 Tích vô hướng, và vì sao một nơ-ron là một tích vô hướng bài tập 20 phút Xem ✓ 24 Phép nhân ma trận: cả một lớp cùng lúc bài tập 15 phút Xem ✓ 25 Broadcasting: khi các shape kéo giãn bài tập 50 phút Xem ✓ 26 Độ dốc bằng cách đẩy nhẹ (đạo hàm) bài tập 10 phút Xem ✓ 27 Truyền một lần đẩy đi tiếp (quy tắc dây chuyền) bài tập 25 phút Xem ✓ 28 Vì sao đi ngược lại rẻ (chế độ ngược) bài tập 20 phút Xem ✓ 29 Gradient của cả ma trận (quy tắc shape) bài tập 15 phút Xem ✓ 30 Xác suất, trung bình và độ phân tán bài tập 20 phút Xem ✓ 31 Đường cong hình chuông (phân phối Gauss) bài tập 20 phút Xem ✓ 32 Độ phân tán cộng dồn ra sao, và một ma trận kéo giãn cái gì bài tập 50 phút Xem ✓ 33 Phỏng đoán nào giải thích dữ liệu tốt nhất (khả năng) bài tập 20 phút Xem ✓ 34 Biến điểm thành xác suất (softmax) bài tập 20 phút Xem ✓ 35 Cross-entropy là khả năng đội lốt bài tập 20 phút Xem ✓ 36 Gradient của softmax, và vì sao hàm mất mát giấu nó đi bài tập 25 phút Xem ✓ 37 Hai phỏng đoán khác nhau tới đâu (độ phân kỳ KL) bài tập 20 phút Xem ✓ 38 Bài kiểm tra vượt cấp: phần toán, viết thành mã (tắt AI) bài tập 35 phút Xem
Mô-đun 5 · về 8 h

Mô-đun 4: Bộ máy autograd của riêng bạn

Bạn sẽ có thể: dựng một bộ máy autograd chế độ ngược (đồ thị, thứ tự tô-pô, quy tắc lượt ngược, broadcasting, phép rút gọn); kiểm tra nó với việc đẩy nhẹ; huấn luyện một mạng trên nó mà không có gradient viết tay nào; tự thêm một phép toán mới (bài kiểm tra vượt cấp).

Trang 2 trên tổng số 7 · lớp mạng Nền tảng Hoàn thành tất cả 3 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 8 · về 4 h

Mô-đun 7: Làm việc trên dữ liệu mới

Bạn sẽ có thể: đo quá khớp và chưa khớp, độ chệch và phương sai; dùng suy giảm trọng số, dropout, tăng cường dữ liệu và dừng sớm; đọc double descent và đường cong học một cách trung thực; tinh chỉnh một mô hình trên dữ liệu kiểm định và báo cáo nó trên dữ liệu được giữ riêng (bài kiểm tra vượt cấp).

Mô-đun 9 · về 4 h

Mô-đun 8: Phòng khám lần chạy I

Bạn sẽ có thể: chạy hai phép kiểm tra đầu tiên trên bất kỳ lần huấn luyện nào; chọn các đầu dò tách được những lỗi có khả năng; chẩn đoán và sửa những lần chạy hỏng bằng một thay đổi nhỏ, trong một ngân sách (bài kiểm tra vượt cấp); đánh giá các chẩn đoán của một trợ lý AI bằng bằng chứng.

Trang 3 trên tổng số 7 · lớp mạng Làm cho việc huấn luyện hoạt động Hoàn thành tất cả 40 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 11 · về 10 h

Mô-đun 10: Những mạng biết nhìn (CNN)

Bạn sẽ có thể: dựng tích chập, padding, pooling và gradient của chúng, và im2col; huấn luyện CNN trên bộ máy của khóa học; đọc những lần chạy đã được ghi lại qua các seed; kiểm tra saliency so với một đường cơ sở; dùng học chuyển giao; thiết kế một CNN trong một ngân sách trọng số (bài kiểm tra vượt cấp).

Mô-đun 14 · về 10 h

Mô-đun 13: Attention và transformer

Bạn sẽ có thể: dựng attention, mặt nạ nhân quả, các head, vị trí, layer norm và cả một khối khớp với một mô hình thật; suy ra lượt lan truyền ngược của attention; huấn luyện một GPT nhỏ; đọc các lần chạy đã ghi lại; sinh văn bản với bộ nhớ đệm; ánh xạ bộ máy của bạn sang PyTorch; sửa một transformer bị hỏng (bài kiểm tra vượt cấp).

Mô-đun 15 · về 4 h

Mô-đun 14: Phòng khám lần chạy II

Bạn sẽ có thể: chẩn đoán các mô hình chuỗi bị hỏng, kể cả những trò gian lận trông tuyệt vời, sự đình trệ, kích thước bước và lỗi lấy mẫu; đọc những lần chạy thất bại đã được ghi lại; đánh giá một trợ lý AI bằng bằng chứng; tự chẩn đoán trong một ngân sách (bài kiểm tra vượt cấp); so sánh bài thi cuối của bạn với bài thi đầu vào.

Trang 4 trên tổng số 7 · lớp mạng Kiến trúc cho dữ liệu có cấu trúc Hoàn thành tất cả 56 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 16 · về 5 h

Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)

Bạn sẽ có thể: ép các chữ số vào vài con số và dựng lại chúng; nói, bằng các phép đo, vì sao một autoencoder không thể tạo ra chữ số mới; tính KL giữa hai đường cong hình chuông và ELBO; lấy mẫu theo cách bạn có thể huấn luyện xuyên qua; huấn luyện một VAE tạo ra chữ số mới; đi giữa các chữ số; tự mình chẩn đoán và sửa một VAE bị sụp (bài kiểm tra vượt cấp).

Mô-đun 17 · về 4 h

Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)

Mô-đun tùy chọn, không cần cho chứng chỉ. Bạn sẽ có thể: viết các giá trị mất mát GAN và nói từ độ dốc của chúng khi nào giá trị mất mát bão hòa bị chững lại; huấn luyện một GAN trên tám cụm và chấm độ phủ của nó; làm cho sụp đổ chế độ xảy ra; kiểm tra các mẹo ổn định hóa trên các seed đã ghi lại và báo cáo điều gì đã giúp; chạy một bộ sinh tích chập; tự mình cứu một GAN bị hỏng (bài kiểm tra vượt cấp).

Mô-đun 18 · về 8 h

Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)

Bạn sẽ có thể: thêm nhiễu theo một lịch, từng bước và bằng một cú nhảy; đọc các mũi tên của mạng trở về dữ liệu; huấn luyện một bộ dự đoán nhiễu; lấy mẫu bằng DDPM và nói vì sao ước lượng sạch bị cắt; so sánh các lịch nhiễu và đầu vào thời gian bằng phép đo; dựng một U-Net; lấy mẫu với ít bước hơn bằng DDIM; lái các mẫu bằng classifier-free guidance; tinh chỉnh một mô hình đã huấn luyện; tự mình khớp một hình dạng mới (bài kiểm tra vượt cấp).

Mô-đun 19 · về 6 h

Mô-đun 18: Học không cần nhãn

Bạn sẽ có thể: chấm đặc trưng bằng mức đồng thuận của láng giềng gần nhất và bằng một đầu dò tuyến tính bạn tự viết; tiền huấn luyện bằng dự đoán có che; viết InfoNCE và nói vì sao nó là cross-entropy; tiền huấn luyện bằng SimCLR và đọc xem các phép tăng cường của nó quyết định điều gì; ghép chú thích với ảnh (tùy chọn); tự mình kiểm tra đặc trưng trên những vật thể mô hình chưa từng thấy (bài kiểm tra vượt cấp).

Trang 5 trên tổng số 7 · lớp mạng Những mạng tạo ra thứ mới Hoàn thành tất cả 26 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 20 · về 5 h

Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)

Bạn sẽ có thể: tính chi phí một lần huấn luyện bằng FLOP; khớp một luật lũy thừa có sàn và thanh sai số; đọc xem trọng số hay dữ liệu giới hạn một lần chạy; lập kế hoạch kích thước mô hình tốt nhất cho một ngân sách cố định; dự đoán một lần chạy lớn hơn và kiểm tra nó; phân biệt một bước nhảy thật với một thước đo tạo ra bước nhảy; tự mình lập kế hoạch một lần chạy (bài kiểm tra vượt cấp).

Mô-đun 21 · về 5 h

Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp

Bạn sẽ có thể: cho thấy sự quên thảm khốc; đếm, dựng và kiểm tra gradient LoRA; chọn hạng của nó từ các phép đo; tinh chỉnh một mô hình trên văn bản của riêng bạn mà không phá hỏng nó; nói khi nào chưng cất có ích; lượng tử hóa trọng số và dự đoán cái giá; tinh chỉnh theo sở thích bằng DPO và dừng đúng lúc; chọn một phương pháp cho một tình huống; tự mình đạt một mục tiêu thích nghi trong một ngân sách (bài kiểm tra vượt cấp).

Mô-đun 22 · về 8 h

Mô-đun 21: Nhìn vào bên trong một mô hình

Bạn sẽ có thể: nói bằng chứng về bên trong một mô hình là một khuôn mẫu, một hiệu ứng hay một cơ chế; chạy một đầu dò có đối chứng; vá activation để tìm thông tin nằm ở đâu; loại bỏ các phần và kiểm tra phần dự phòng; kiểm tra một cơ chế trong sách giáo khoa trên mô hình trước mặt bạn; cho thấy sự chồng chập trong một mô hình đồ chơi; huấn luyện một sparse autoencoder và kiểm tra nhãn của một đặc trưng trên văn bản chưa thấy; đọc hiện tượng grokking từ các lần chạy đã ghi lại và kiểm tra các sóng của nó bằng cách loại bỏ chúng; tự mình tìm thông tin nằm ở đâu trên các đầu vào mới (bài kiểm tra vượt cấp).

Mô-đun 23 · về 5 h

Mô-đun 22: Đánh giá các nhận định

Bạn sẽ có thể: tìm một tập kiểm tra bị rò rỉ bằng độ trùng lặp và báo cáo điểm sạch; tách một giá trị mất mát trung bình theo phần quan trọng; nói cắt bỏ bằng không và cắt bỏ bằng trung bình khác nhau ra sao và báo cáo phương pháp; phân biệt một khác biệt của một seed với một khác biệt đã đo bằng sai số chuẩn; tái tạo một kết quả trên các seed mới và tìm thiết lập mà ở đó nó ngừng đúng; tự mình thẩm định một nhận định (bài kiểm tra vượt cấp).

Trang 6 trên tổng số 7 · lớp mạng Mở rộng quy mô và thấu hiểu Hoàn thành tất cả 36 bài tập trong chặng này để nhận lớp của nó.
Mô-đun 24 · về 7 h

Mô-đun 23: Xưởng capstone: một thẻ mô hình bạn có thể chạy

Bạn sẽ có thể: lập kế hoạch một dự án với một ngân sách FLOP; đoán trước và chạy một đường cơ sở trên các seed; đánh giá các thay đổi bằng thanh sai số; tìm một lỗi vẫn huấn luyện được bằng kiểm tra gradient; đưa ra một phát hiện bên trong mô hình của bạn so với một đối chứng chưa huấn luyện; đánh giá một lần trên một tập ẩn với thanh sai số; viết một thẻ mô hình mà mọi con số đều khớp với nhật ký chạy của bạn; xuất một tệp ngoại tuyến có các lần chạy phát lại được.

Mô-đun 25 · 50 phút

Mô-đun 24: Bài thi cuối và bài thi lại

Bạn sẽ có thể: cho thấy, khi tắt AI, những gì Phần 2 đã dạy trên cả bốn mặt đồng hồ (đề C); so sánh các mặt đồng hồ của bạn từ vạch xuất phát tới cuối Phần 2; kiểm tra một tháng sau xem điều gì còn đọng lại (đề D, tùy chọn).

Trang 7 trên tổng số 7 · lớp mạng Tổng kết và minh chứng Hoàn thành tất cả 10 bài tập trong chặng này để nhận lớp của nó.