Mạng nơ-ron: Từ nơ-ron tới Transformer
Tự xây dựng mạng nơ-ron, từ một nơ-ron tới một transformer, rồi các mô hình sinh, khuếch tán, quy luật mở rộng quy mô và nhìn vào bên trong một mô hình, bằng Python thuần và NumPy, huấn luyện ngay trong trình duyệt của bạn. Tự viết autograd của riêng bạn, chẩn đoán những lần chạy hỏng, đánh giá các khẳng định bằng bằng chứng, và kết thúc với một bài tổng kết bạn có thể phát lại. Miễn phí, không cần tài khoản.
Real Python và NumPy đã sẵn sàng trong tab này.
Không cần cài đặt, không cần tài khoản, không cần thiết lập. Mọi mạng trong khóa học này đều huấn luyện trên thiết bị của bạn, và không có gì bạn viết rời khỏi đó. Module 1 ôn lại kiến thức Python và NumPy bạn cần. Đã thành thạo? Bài học cuối cùng là một cổng kiểm tra ngắn bạn có thể làm trước: vượt qua nó và khóa học sẽ cho bạn đi thẳng tiếp.
Ôn tập hàng ngày
Lặp lại ngắt quãng giúp những gì bạn đã học không bị phai nhòa.
Mô-đun 0: Vạch xuất phát
Bạn sẽ có thể: nói được khóa học hoạt động ra sao và nó đo lường gì; đưa ra một dự đoán và đối chiếu nó với một lần chạy; ghi lại điểm xuất phát của bạn trên bốn mặt đồng hồ; đo tốc độ thiết bị của bạn bằng FLOP.
Mô-đun 1: Python cho khóa học này
Bạn sẽ có thể: viết và kiểm thử các hàm trên list và dict; dùng mảng NumPy, shape, cắt lát và broadcasting thay cho vòng lặp; đặt seed cho tính ngẫu nhiên để tái lập được; viết các lớp nhỏ và closure. Được kiểm tra bằng bài kiểm tra vượt cấp Python (đã thành thạo? hãy làm nó trước: qua nó là bỏ qua mô-đun).
Mô-đun 2: Toán và xác suất, chỉ ở mức cần thiết
Bạn sẽ có thể: tính tích vô hướng, phép nhân ma trận và broadcasting; tìm độ dốc bằng cách đẩy nhẹ và bằng quy tắc dây chuyền, cho các con số và cho cả ma trận; giải thích độ phân tán cộng dồn ra sao và một trị riêng làm gì; suy ra gradient của softmax; viết log-sum-exp, softmax và cross-entropy không bao giờ tràn số (bài kiểm tra vượt cấp).
Mô-đun 3: Từ nơ-ron tới MLP
Bạn sẽ có thể: dựng một nơ-ron, các hàm kích hoạt và một mạng hai lớp bằng NumPy; tự tay suy ra lan truyền ngược và kiểm tra nó bằng một bộ kiểm tra gradient; huấn luyện một bộ đọc chữ số vượt 95%; dựng và huấn luyện mạng của riêng bạn cho một tập dữ liệu mới (bài kiểm tra vượt cấp).
Mô-đun 4: Bộ máy autograd của riêng bạn
Bạn sẽ có thể: dựng một bộ máy autograd chế độ ngược (đồ thị, thứ tự tô-pô, quy tắc lượt ngược, broadcasting, phép rút gọn); kiểm tra nó với việc đẩy nhẹ; huấn luyện một mạng trên nó mà không có gradient viết tay nào; tự thêm một phép toán mới (bài kiểm tra vượt cấp).
Mô-đun 5: Tối ưu hóa
Bạn sẽ có thể: giải thích vì sao một địa hình bị kéo giãn thì chậm; dựng SGD theo minibatch, momentum, RMSProp, Adam và AdamW, lịch trình và cắt gradient; chọn và tinh chỉnh một bộ tối ưu cho một bài toán bạn chưa thấy, trong một ngân sách (bài kiểm tra vượt cấp).
Mô-đun 6: Trọng số ban đầu và chuẩn hóa
Bạn sẽ có thể: đo tín hiệu qua độ sâu và chọn thang Xavier, LeCun hay He; tìm các đơn vị chết; dựng lượt xuôi và lượt ngược của BatchNorm, LayerNorm và RMSNorm; tránh cái bẫy huấn luyện/đánh giá; dùng các lối tắt trong mạng sâu.
Mô-đun 7: Làm việc trên dữ liệu mới
Bạn sẽ có thể: đo quá khớp và chưa khớp, độ chệch và phương sai; dùng suy giảm trọng số, dropout, tăng cường dữ liệu và dừng sớm; đọc double descent và đường cong học một cách trung thực; tinh chỉnh một mô hình trên dữ liệu kiểm định và báo cáo nó trên dữ liệu được giữ riêng (bài kiểm tra vượt cấp).
Mô-đun 8: Phòng khám lần chạy I
Bạn sẽ có thể: chạy hai phép kiểm tra đầu tiên trên bất kỳ lần huấn luyện nào; chọn các đầu dò tách được những lỗi có khả năng; chẩn đoán và sửa những lần chạy hỏng bằng một thay đổi nhỏ, trong một ngân sách (bài kiểm tra vượt cấp); đánh giá các chẩn đoán của một trợ lý AI bằng bằng chứng.
Mô-đun 9: Nó có thật sự tốt hơn không?
Bạn sẽ có thể: chia dữ liệu mà không rò rỉ; dùng precision và recall; đo độ phân tán qua các seed; đặt thanh sai số bootstrap lên một điểm số; đo việc hiệu chỉnh; so sánh hai mô hình bằng một khoảng theo cặp và đưa ra quyết định (bài kiểm tra vượt cấp).
Mô-đun 10: Những mạng biết nhìn (CNN)
Bạn sẽ có thể: dựng tích chập, padding, pooling và gradient của chúng, và im2col; huấn luyện CNN trên bộ máy của khóa học; đọc những lần chạy đã được ghi lại qua các seed; kiểm tra saliency so với một đường cơ sở; dùng học chuyển giao; thiết kế một CNN trong một ngân sách trọng số (bài kiểm tra vượt cấp).
Mô-đun 11: Những mạng có bộ nhớ (RNN)
Bạn sẽ có thể: dựng một RNN và một mô hình ký tự; suy ra lan truyền ngược qua thời gian; đo gradient biến mất; dựng các cổng LSTM; đọc các thí nghiệm đã ghi lại về bộ nhớ và nút thắt; lấy mẫu với nhiệt độ; sửa một mô hình hồi quy bị hỏng (bài kiểm tra vượt cấp).
Mô-đun 12: Từ ngữ thành con số (embedding)
Bạn sẽ có thể: coi một embedding là một phép tra; dựng một bộ tách token bằng cách gộp cặp; tạo vector từ bằng cách đếm và bằng skip-gram; đo và loại bỏ một độ lệch mà chúng sao chép; tự mình làm tất cả điều đó trên một thế giới bạn chưa từng thấy (bài kiểm tra vượt cấp).
Mô-đun 13: Attention và transformer
Bạn sẽ có thể: dựng attention, mặt nạ nhân quả, các head, vị trí, layer norm và cả một khối khớp với một mô hình thật; suy ra lượt lan truyền ngược của attention; huấn luyện một GPT nhỏ; đọc các lần chạy đã ghi lại; sinh văn bản với bộ nhớ đệm; ánh xạ bộ máy của bạn sang PyTorch; sửa một transformer bị hỏng (bài kiểm tra vượt cấp).
Mô-đun 14: Phòng khám lần chạy II
Bạn sẽ có thể: chẩn đoán các mô hình chuỗi bị hỏng, kể cả những trò gian lận trông tuyệt vời, sự đình trệ, kích thước bước và lỗi lấy mẫu; đọc những lần chạy thất bại đã được ghi lại; đánh giá một trợ lý AI bằng bằng chứng; tự chẩn đoán trong một ngân sách (bài kiểm tra vượt cấp); so sánh bài thi cuối của bạn với bài thi đầu vào.
Mô-đun 15: Ép, dựng lại, sinh mới (autoencoder và VAE)
Bạn sẽ có thể: ép các chữ số vào vài con số và dựng lại chúng; nói, bằng các phép đo, vì sao một autoencoder không thể tạo ra chữ số mới; tính KL giữa hai đường cong hình chuông và ELBO; lấy mẫu theo cách bạn có thể huấn luyện xuyên qua; huấn luyện một VAE tạo ra chữ số mới; đi giữa các chữ số; tự mình chẩn đoán và sửa một VAE bị sụp (bài kiểm tra vượt cấp).
Mô-đun 16: Hai mạng trong một trò chơi (GAN, tùy chọn)
Mô-đun tùy chọn, không cần cho chứng chỉ. Bạn sẽ có thể: viết các giá trị mất mát GAN và nói từ độ dốc của chúng khi nào giá trị mất mát bão hòa bị chững lại; huấn luyện một GAN trên tám cụm và chấm độ phủ của nó; làm cho sụp đổ chế độ xảy ra; kiểm tra các mẹo ổn định hóa trên các seed đã ghi lại và báo cáo điều gì đã giúp; chạy một bộ sinh tích chập; tự mình cứu một GAN bị hỏng (bài kiểm tra vượt cấp).
Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)
Bạn sẽ có thể: thêm nhiễu theo một lịch, từng bước và bằng một cú nhảy; đọc các mũi tên của mạng trở về dữ liệu; huấn luyện một bộ dự đoán nhiễu; lấy mẫu bằng DDPM và nói vì sao ước lượng sạch bị cắt; so sánh các lịch nhiễu và đầu vào thời gian bằng phép đo; dựng một U-Net; lấy mẫu với ít bước hơn bằng DDIM; lái các mẫu bằng classifier-free guidance; tinh chỉnh một mô hình đã huấn luyện; tự mình khớp một hình dạng mới (bài kiểm tra vượt cấp).
Mô-đun 18: Học không cần nhãn
Bạn sẽ có thể: chấm đặc trưng bằng mức đồng thuận của láng giềng gần nhất và bằng một đầu dò tuyến tính bạn tự viết; tiền huấn luyện bằng dự đoán có che; viết InfoNCE và nói vì sao nó là cross-entropy; tiền huấn luyện bằng SimCLR và đọc xem các phép tăng cường của nó quyết định điều gì; ghép chú thích với ảnh (tùy chọn); tự mình kiểm tra đặc trưng trên những vật thể mô hình chưa từng thấy (bài kiểm tra vượt cấp).
Mô-đun 19: Lớn hơn, và tốt hơn bao nhiêu (luật mở rộng quy mô)
Bạn sẽ có thể: tính chi phí một lần huấn luyện bằng FLOP; khớp một luật lũy thừa có sàn và thanh sai số; đọc xem trọng số hay dữ liệu giới hạn một lần chạy; lập kế hoạch kích thước mô hình tốt nhất cho một ngân sách cố định; dự đoán một lần chạy lớn hơn và kiểm tra nó; phân biệt một bước nhảy thật với một thước đo tạo ra bước nhảy; tự mình lập kế hoạch một lần chạy (bài kiểm tra vượt cấp).
Mô-đun 20: Thích nghi một mô hình đã huấn luyện với chi phí thấp
Bạn sẽ có thể: cho thấy sự quên thảm khốc; đếm, dựng và kiểm tra gradient LoRA; chọn hạng của nó từ các phép đo; tinh chỉnh một mô hình trên văn bản của riêng bạn mà không phá hỏng nó; nói khi nào chưng cất có ích; lượng tử hóa trọng số và dự đoán cái giá; tinh chỉnh theo sở thích bằng DPO và dừng đúng lúc; chọn một phương pháp cho một tình huống; tự mình đạt một mục tiêu thích nghi trong một ngân sách (bài kiểm tra vượt cấp).
Mô-đun 21: Nhìn vào bên trong một mô hình
Bạn sẽ có thể: nói bằng chứng về bên trong một mô hình là một khuôn mẫu, một hiệu ứng hay một cơ chế; chạy một đầu dò có đối chứng; vá activation để tìm thông tin nằm ở đâu; loại bỏ các phần và kiểm tra phần dự phòng; kiểm tra một cơ chế trong sách giáo khoa trên mô hình trước mặt bạn; cho thấy sự chồng chập trong một mô hình đồ chơi; huấn luyện một sparse autoencoder và kiểm tra nhãn của một đặc trưng trên văn bản chưa thấy; đọc hiện tượng grokking từ các lần chạy đã ghi lại và kiểm tra các sóng của nó bằng cách loại bỏ chúng; tự mình tìm thông tin nằm ở đâu trên các đầu vào mới (bài kiểm tra vượt cấp).
Mô-đun 22: Đánh giá các nhận định
Bạn sẽ có thể: tìm một tập kiểm tra bị rò rỉ bằng độ trùng lặp và báo cáo điểm sạch; tách một giá trị mất mát trung bình theo phần quan trọng; nói cắt bỏ bằng không và cắt bỏ bằng trung bình khác nhau ra sao và báo cáo phương pháp; phân biệt một khác biệt của một seed với một khác biệt đã đo bằng sai số chuẩn; tái tạo một kết quả trên các seed mới và tìm thiết lập mà ở đó nó ngừng đúng; tự mình thẩm định một nhận định (bài kiểm tra vượt cấp).
Mô-đun 23: Xưởng capstone: một thẻ mô hình bạn có thể chạy
Bạn sẽ có thể: lập kế hoạch một dự án với một ngân sách FLOP; đoán trước và chạy một đường cơ sở trên các seed; đánh giá các thay đổi bằng thanh sai số; tìm một lỗi vẫn huấn luyện được bằng kiểm tra gradient; đưa ra một phát hiện bên trong mô hình của bạn so với một đối chứng chưa huấn luyện; đánh giá một lần trên một tập ẩn với thanh sai số; viết một thẻ mô hình mà mọi con số đều khớp với nhật ký chạy của bạn; xuất một tệp ngoại tuyến có các lần chạy phát lại được.
Mô-đun 24: Bài thi cuối và bài thi lại
Bạn sẽ có thể: cho thấy, khi tắt AI, những gì Phần 2 đã dạy trên cả bốn mặt đồng hồ (đề C); so sánh các mặt đồng hồ của bạn từ vạch xuất phát tới cuối Phần 2; kiểm tra một tháng sau xem điều gì còn đọng lại (đề D, tùy chọn).
Chỉ bạn mới có thể in hoặc lưu những mục này. Các liên kết được lưu trong trình duyệt này. Để cho người khác xem, hãy chia sẻ liên kết verify từ chứng chỉ.