سرفصل‌ها درس 109 از 250 · شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی
شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی

ببینید: چگونه متن به اعداد تبدیل می‌شود

پیش از آنکه یک مدل زبان بزرگ (LLM) بتواند کاری با ورودی شما انجام دهد، باید متن شما را به اعداد تبدیل کند، زیرا یک شبکه عصبی تنها روی اعداد محاسبه انجام می‌دهد. مرحله‌ای که این کار را انجام می‌دهد، توکن‌سازی است.

روی دکمهٔ Play کلیک کنید. ببینید چگونه یک کلمهٔ کامل به توکن‌ها (قطعات متنی مکرر، اغلب زیرواژه‌ها، نه کلمات کامل) تقسیم می‌شود و چگونه هر توکن به یک شناسهٔ عددی از واژگان مدل تبدیل می‌شود. پس از این مرحله، مدل دیگر هرگز حروف را نمی‌بیند، بلکه تنها فهرستی از شناسه‌ها را می‌بیند.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.