توکنها: ادغام رایجترین جفتها
چرا مهم است مدلهای واقعی نویسهها یا واژههای کامل را نمیخوانند. توکنها را میخوانند، تکههایی میان این دو، که با یک قاعدهٔ سادهٔ شمارش ساخته میشوند. به همین دلیل یک مدل یک واژهٔ رایج را یک تکه و یک واژهٔ نادر را چند تکه «میبیند».
رمزگذاری جفت بایت (BPE) با نویسههای تنها شروع میکند و یک گام را تکرار میکند: جفت نمادهای همسایهای را که بیش از همه در متن میآید پیدا کنید و آن را همه جا به یک نماد تازه بچسبانید.
مثال کوچک
واژههای «low» (5 بار) و «lot» (2 بار). جفتها: l o هفت بار، o w پنج بار، o t دو بار میآید. l o را ادغام کنید: اکنون «lo w» و «lo t». بعد، lo w پنج بار میآید: ادغامش کنید، و «low» یک توکن تنهاست.
توکنسازهای واقعی دو چیز اضافه میکنند که این درس کنار میگذارد. به جای نویسهها از بایتها شروع میکنند، پس هر متنی در هر زبانی، از جمله ایموجی، با یک آغاز 256 نمادی نوشته میشود. و جای آغاز واژهها را علامت میزنند (GPT-2 فاصله را به جلوی واژهٔ بعدی میچسباند)، پس تکهای در آغاز یک واژه و همان حروف درون یک واژه به توکنهای متفاوت تبدیل میشوند. نویسه به ازای هر واژه هزینهٔ خواندن نویسه به نویسه است. توکن به ازای هر واژه با افزودن ادغامها پایین میآید: گامهای کمتر و بزرگتر برای مدل، به بهای واژگانی بزرگتر.
واژهها و نمادهای این درس
- توکن، BPE
- تکهای از متن که مدل میخواند؛ رمزگذاری جفت بایت رایجترین جفت همسایه را بارها و بارها به هم میچسباند
pair_counts(vocab) (اینکه هر جفت همسایه چند بار میآید، وزندهیشده با شمار واژه) و merge(vocab, pair) (چسباندن آن جفت همه جا) را بنویسید. my_guess، توکن به ازای هر واژه پس از 200 ادغام (از حدود 4.6 شروع میکند)، را حدس بزنید. حلقه برایتان نوشته شده است.
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.