ببینید: چگونه متن به اعداد تبدیل میشود
پیش از آنکه یک مدل زبان بزرگ (LLM) بتواند کاری با ورودی شما انجام دهد، باید متن شما را به اعداد تبدیل کند، زیرا یک شبکه عصبی تنها روی اعداد محاسبه انجام میدهد. مرحلهای که این کار را انجام میدهد، توکنسازی است.
روی دکمهٔ Play کلیک کنید. ببینید چگونه یک کلمهٔ کامل به توکنها (قطعات متنی مکرر، اغلب زیرواژهها، نه کلمات کامل) تقسیم میشود و چگونه هر توکن به یک شناسهٔ عددی از واژگان مدل تبدیل میشود. پس از این مرحله، مدل دیگر هرگز حروف را نمیبیند، بلکه تنها فهرستی از شناسهها را میبیند.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.