Chương trình học Bài 182 trên tổng số 246 · Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)
Mô-đun 17: Nhiễu vào, ảnh ra (khuếch tán)

Thêm nhiễu, từng bước một

Vì sao điều này quan trọng Các trình tạo ảnh đằng sau nghệ thuật AI ngày nay làm việc ngược từ nhiễu. Để học cách loại bỏ nhiễu, một mạng trước hết cần thấy chính xác nhiễu đã được thêm vào ra sao. Nửa xuôi đó là số học thuần túy, và nó có một lối tắt làm cho việc huấn luyện trở nên khả thi.

Lấy một điểm sạch x0 (một giá trị điểm ảnh, hoặc một điểm trong 2D). Ở mỗi bước trong T = 100 bước, co nó lại một chút và thêm một chút nhiễu mới:

x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, với eps rút từ N(0, 1)

Danh sách beta_0 ... beta_99 là lịch nhiễu. Hãy xem cảnh: một hình xoắn ốc các điểm tan dần thành một đám mây nhiễu tròn.

Lối tắt

Co lại và thêm nhiễu hình chuông lặp đi lặp lại giống như làm một lần với các tổng. Viết abar_t cho tích của mọi hệ số (1 - beta) tới bước t. Khi đó

x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps

trong một lần: tín hiệu còn lại là sqrt(abar_t), độ phân tán của nhiễu là sqrt(1 - abar_t). Việc huấn luyện có thể nhảy tới bất kỳ bước nào ngay lập tức, thay vì đi bộ tới đó.

Những con số nhỏ xíu

Hai bước, mỗi bước beta = 0.1: abar = 0.9 x 0.9 = 0.81. Từ x0 = 1 tín hiệu còn lại là sqrt(0.81) = 0.9 và độ phân tán nhiễu là sqrt(0.19) = 0.44. Đi bộ: sau bước 1, 0.949 x 1 cộng nhiễu độ phân tán 0.316; sau bước 2, mọi thứ lại co theo 0.949 và nhiễu mới độ phân tán 0.316 nhập vào. Các độ phân tán cộng theo bình phương: 0.949^2 x 0.1 + 0.1 = 0.19. Cùng đáp án.

Từ và ký hiệu trong bài học này
lịch nhiễu (beta)
bao nhiêu nhiễu mới được trộn vào ở mỗi bước
abar
phần tín hiệu gốc còn lại sau một số bước (căn bậc hai của nó nhân với x0)
x0, x_t
dữ liệu sạch, và cùng dữ liệu đó sau t bước nhiễu
eps
nhiễu hình chuông đã được cộng vào; mạng học cách dự đoán nó
Đến lượt bạn

Viết walk(x0, t, beta, rng) (từng bước một, t + 1 bước từ bước 0 tới bước t) và jump(x0, t, abar, eps) (lối tắt). Rồi thêm nhiễu cho 20000 bản sao của điểm (1.0, -0.5) tới bước 40 theo cả hai cách và điền stats với trung bình và độ phân tán (theo từng tọa độ) của mỗi phiên bản bên cạnh giá trị mà lịch nói chúng nên có.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.