یک کد چقدر از مرکز دور است: KL میان دو منحنی زنگولهای
چرا مهم است کشش 2 به عددی برای کمینه کردن نیاز دارد: ابر N(mu, spread) هر کد چقدر از هدف N(0, 1) دور است. آن عدد همان واگرایی KL است که در ماژول 2 دیدید، اکنون برای منحنیهای زنگولهای.
ماژول 2 فرمول دقیق را برای دو منحنی زنگولهای داد: KL میان N(m1, s1) و N(m2, s2) برابر است با
فرمول: log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
با هدف N(0, 1) (m2 = 0، s2 = 1) و پراکندگی نوشتهشده بهصورت logvar = log(s1²)، برای هر عدد کد به 0.5 (mu² + exp(logvar) - 1 - logvar) تبدیل میشود. آن را روی اعداد کد جمع بزنید.
اعداد کوچک
mu = 0، logvar = 0 (پراکندگی 1): 0.5 (0 + 1 - 1 - 0) = 0، کد از قبل با هدف جور است. mu = 2، logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0، logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568، پس کدی که بیش از حد به خودش مطمئن است هم بها میپردازد.
آن را بدون فرمول بررسی کنید
KL یک میانگین است: میانگین log p(x) - log q(x) برای x کشیدهشده از p. کشیدن x بسیار و میانگین گرفتن همان عدد را، کمی پرنویز، میدهد. توافق دو روش همان راهی است که میفهمید کد درست است.
واژهها و نمادهای این درس
- کد (نهفته)
- چند عددی که رمزگذار از یک تصویر میسازد
- mu، logvar
- مرکز و لگاریتم مربع پراکندگی یک عدد کد در یک VAE
kl_normal(m1, s1, m2, s2) را از فرمول، kl_to_standard(mu, logvar) را (آرایههای NumPy با شکل (N, z)، که جمع روی اعداد کد میانگینگیریشده روی N ردیف را برمیگرداند)، و kl_by_sampling(m1, s1, m2, s2, n) را بنویسید که log p(x) - log q(x) را روی n کشیدن از p میانگین میگیرد.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.