سرفصل‌ها درس 170 از 246 · ماژول 15: فشردن، بازسازی، تولید (خودرمزگذارها و VAEها)
ماژول 15: فشردن، بازسازی، تولید (خودرمزگذارها و VAEها)

یک کد چقدر از مرکز دور است: KL میان دو منحنی زنگوله‌ای

چرا مهم است کشش 2 به عددی برای کمینه کردن نیاز دارد: ابر N(mu, spread) هر کد چقدر از هدف N(0, 1) دور است. آن عدد همان واگرایی KL است که در ماژول 2 دیدید، اکنون برای منحنی‌های زنگوله‌ای.

ماژول 2 فرمول دقیق را برای دو منحنی زنگوله‌ای داد: KL میان N(m1, s1) و N(m2, s2) برابر است با

فرمول: log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

با هدف N(0, 1) (m2 = 0، s2 = 1) و پراکندگی نوشته‌شده به‌صورت logvar = log(s1²)، برای هر عدد کد به 0.5 (mu² + exp(logvar) - 1 - logvar) تبدیل می‌شود. آن را روی اعداد کد جمع بزنید.

اعداد کوچک

mu = 0، logvar = 0 (پراکندگی 1): 0.5 (0 + 1 - 1 - 0) = 0، کد از قبل با هدف جور است. mu = 2، logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0، logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568، پس کدی که بیش از حد به خودش مطمئن است هم بها می‌پردازد.

آن را بدون فرمول بررسی کنید

KL یک میانگین است: میانگین log p(x) - log q(x) برای x کشیده‌شده از p. کشیدن x بسیار و میانگین گرفتن همان عدد را، کمی پرنویز، می‌دهد. توافق دو روش همان راهی است که می‌فهمید کد درست است.

واژه‌ها و نمادهای این درس
کد (نهفته)
چند عددی که رمزگذار از یک تصویر می‌سازد
mu، logvar
مرکز و لگاریتم مربع پراکندگی یک عدد کد در یک VAE
نوبت شما

kl_normal(m1, s1, m2, s2) را از فرمول، kl_to_standard(mu, logvar) را (آرایه‌های NumPy با شکل (N, z)، که جمع روی اعداد کد میانگین‌گیری‌شده روی N ردیف را برمی‌گرداند)، و kl_by_sampling(m1, s1, m2, s2, n) را بنویسید که log p(x) - log q(x) را روی n کشیدن از p میانگین می‌گیرد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.