Thêm nhiễu, từng bước một
Vì sao điều này quan trọng Các trình tạo ảnh đằng sau nghệ thuật AI ngày nay làm việc ngược từ nhiễu. Để học cách loại bỏ nhiễu, một mạng trước hết cần thấy chính xác nhiễu đã được thêm vào ra sao. Nửa xuôi đó là số học thuần túy, và nó có một lối tắt làm cho việc huấn luyện trở nên khả thi.
Lấy một điểm sạch x0 (một giá trị điểm ảnh, hoặc một điểm trong 2D). Ở mỗi bước trong T = 100 bước, co nó lại một chút và thêm một chút nhiễu mới:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, với eps rút từ N(0, 1)
Danh sách beta_0 ... beta_99 là lịch nhiễu. Hãy xem cảnh: một hình xoắn ốc các điểm tan dần thành một đám mây nhiễu tròn.
Lối tắt
Co lại và thêm nhiễu hình chuông lặp đi lặp lại giống như làm một lần với các tổng. Viết abar_t cho tích của mọi hệ số (1 - beta) tới bước t. Khi đó
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
trong một lần: tín hiệu còn lại là sqrt(abar_t), độ phân tán của nhiễu là sqrt(1 - abar_t). Việc huấn luyện có thể nhảy tới bất kỳ bước nào ngay lập tức, thay vì đi bộ tới đó.
Những con số nhỏ xíu
Hai bước, mỗi bước beta = 0.1: abar = 0.9 x 0.9 = 0.81. Từ x0 = 1 tín hiệu còn lại là sqrt(0.81) = 0.9 và độ phân tán nhiễu là sqrt(0.19) = 0.44. Đi bộ: sau bước 1, 0.949 x 1 cộng nhiễu độ phân tán 0.316; sau bước 2, mọi thứ lại co theo 0.949 và nhiễu mới độ phân tán 0.316 nhập vào. Các độ phân tán cộng theo bình phương: 0.949^2 x 0.1 + 0.1 = 0.19. Cùng đáp án.
Từ và ký hiệu trong bài học này
- lịch nhiễu (beta)
- bao nhiêu nhiễu mới được trộn vào ở mỗi bước
- abar
- phần tín hiệu gốc còn lại sau một số bước (căn bậc hai của nó nhân với x0)
- x0, x_t
- dữ liệu sạch, và cùng dữ liệu đó sau t bước nhiễu
- eps
- nhiễu hình chuông đã được cộng vào; mạng học cách dự đoán nó
Viết walk(x0, t, beta, rng) (từng bước một, t + 1 bước từ bước 0 tới bước t) và jump(x0, t, abar, eps) (lối tắt). Rồi thêm nhiễu cho 20000 bản sao của điểm (1.0, -0.5) tới bước 40 theo cả hai cách và điền stats với trung bình và độ phân tán (theo từng tọa độ) của mỗi phiên bản bên cạnh giá trị mà lịch nói chúng nên có.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.