سرفصل‌ها درس 126 از 246 · ماژول 11: شبکه‌هایی با حافظه (RNNها)
ماژول 11: شبکه‌هایی با حافظه (RNNها)

یک RNN نویسه‌ای

چرا مهم است پیش‌بینی نویسهٔ بعدی از روی نویسه‌های پیش از آن، مدل زبانی اصیل است. همان ایده، بزرگ‌شده، یک چت‌بات است.

متن درس‌های خود دوره را نویسه به نویسه بخورانید. در هر گام RNN حالتش را به‌روز می‌کند و نویسهٔ بعدی را با یک لایهٔ خطی و softmax پیش‌بینی می‌کند. زیان میانگین آنتروپی متقاطع روی 16 جایگاه هر تکهٔ آموزشی است.

هر نویسه به‌صورت یک تعبیه وارد می‌شود: ردیفی یادگرفته‌شده از اعداد که با نمایهٔ نویسه پیدا می‌شود (ماژول 12 آن‌ها را به‌درستی توضیح می‌دهد؛ فعلاً جدول جست‌وجویی که شبکه آموزشش می‌دهد).

پیش‌بینی منحنی با نمودار: زیان را در گام 0 و پس از 200 گام حدس بزنید. یک حدس یکنواخت روی همهٔ نویسه‌های متن حدود ln(V) می‌دهد.

واژه‌ها و نمادهای این درس
شبکهٔ بازگشتی (RNN)
شبکه‌ای که هر بار یک گام می‌خواند و یک حالت پنهان را رو به جلو می‌برد
آنتروپی
اینکه یک توزیع چقدر پخش است: وقتی قطعی است 0، وقتی همهٔ n انتخاب برابرند ln(n)
نوبت شما

my_guess را پر کنید. سپس step_state(x_ids, h, P) را با موتور دوره بنویسید: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). حلقهٔ آموزش دور آن برایتان نوشته شده است. پس از 200 گام میانگین زیان روی 20 گام آخر باید زیر 2.6 باشد.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.