LLM چیست؟
A مدل زبانی بزرگ (LLM) مانند آنهایی که پشت دستیارهای چت هستند، در اصل یک پیشبینیکنندهٔ غولآسای توکن بعدی است. چند اصطلاح کل ماجرا را روشن میکنند.
- توکنها متن به قطعاتی به نام توکنها تقسیم میشود که تقریباً شامل کلمات یا بخشهایی از کلمات هستند. مدل توکنها را میخواند و مینویسد، نه کاراکترهای خام. یک قاعدهٔ تقریبی: هر توکن حدود چهار کاراکتر انگلیسی است.
- پیشبینی با در نظر گرفتن توکنهای تا کنون، مدل برای هر توکن بعدی ممکن یک احتمال خروجی میدهد. سپس یکی را انتخاب میکند، آن را اضافه میکند و این چرخه را تکرار میکند. این چرخه همان روشی است که با آن پاراگرافهای کامل را مینویسد.
- دستور متنی که وارد میکنید. همهٔ آنچه مدل دربارهٔ درخواست شما میداند در پرسوجو نهفته است، بنابراین نحوهٔ بیان آن اهمیت زیادی دارد (درسهای بعدی).
- دما یک دستگیره بر تصادفی بودن آن انتخاب. نزدیک
0مدل تقریباً همیشه توکن محتملترین را انتخاب میکند (تمرکزگرا، تکراری). مقادیر بالاتر به آن اجازه میدهند توکنهای کمتر محتمل را نمونهبرداری کند (خلاقتر، کمتر قابلاعتماد). مدلهای محلی، مانند مدلی که در پروژه پایانی این دوره استفاده شده است، هنوز این اهرم را در اختیار دارند. جدیدترین مدلهای میزبانیشده Claude این امکان را ندارند: آنها خودشان نمونهبرداری را تنظیم میکنند و پاسخ به تنظیم دمای مدل را با خطا میدهند، بنابراین در آنجا شما خروجی را از طریق پرسوجو هدایت میکنید. - توهم چون مدل زبان بزرگ (LLM) بهجای جستجوی حقایق، متنهای محتمل را پیشبینی میکند، میتواند با اطمینان کامل مطالب نادرست را بیان کند. همیشه حقایقی را که ارائه میدهد بررسی کنید.
توکنسازهای واقعی مبتنی بر زیرواژه هستند و از دادهها یاد میگیرند. ما اینجا آن را نمیسازیم، اما میتوانیم سادهترین توکنساز ممکن (تقسیم بر اساس فاصلههای خالی) را بسازیم تا بفهمیم شمارش توکنها چگونه است. تعداد توکنها معیاری است برای سنجش میزان استفاده و محدودیتها.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']تقسیمبندی بر اساس فضای سفید تنها یک جایگزین مبتنی بر حس است. توکنسازهای واقعی به قطعات زیرواژهای تقسیم میشوند، بنابراین یک قاعدهٔ کلی رایج برای بودجهبندی این است tokens ≈ len(text) / 4 شخصیتها، و کد تولید تعداد دقیق را از ... میخواند usage به جای حدس زدن، از مقادیر بازگشتی API (یا یک نقطه پایانی اختصاصی شمارش توکنها) استفاده کنید.
الگوهای استدلال
تمام موارد فوق مدلی را توصیف میکند که پاسخ خود را مستقیماً صادر میکند. یک خانواده جدیدتر، الگوهای استدلالی، ابتدا با صرف یک بودجه پنهان از توکنهای «تفکر» مسئله را گامبهگام بررسی میکند، سپس پاسخ نهایی را مینویسد. آن تأمل اضافی دقت واقعی را در کارهای سخت چندمرحلهای (ریاضی، کدنویسی، برنامهریزی دقیق) به ارمغان میآورد، و اغلب یک تنظیمکننده دریافت میکنید: تلاش یا بودجه تفکر بالاتر به معنای توکنهای فکری بیشتر، تأخیر بیشتر و هزینه بیشتر است. قضاوت مهندسی به سادگی وقتی که ارزشش را داشته باشدبرای گامهای واقعاً دشوار از یک مدل استدلالی استفاده کنید و برای موارد روتین از مدلی سریع و ارزان بهره ببرید. بعداً دقیقاً همین مبادله را در ساخت یک آبشاری آگاه از هزینه به کار خواهید بست که درخواستهای ساده را به مدل ارزان ارجاع میدهد و تنها موارد دشوار را به سطح بالاتر ارجاع میدهد.
یک جداکنندهٔ سادهی فاصلههای سفید بنویسید. tokenize(text) فهرست توکنهای جداشده با فاصلههای سفید را بازمیگرداند (استفاده کنید .split()). count_tokens(text) تعداد آنها را برمیگرداند. سپس تنظیم کنید tokens = tokenize(sample) و n_tokens = count_tokens(sample).
مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید
این تمرین بهزودی باز میشود
درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و میتوانید همین الان این درس را بخوانید.
این مرورگر کوکیهای learn.floati.life را مسدود میکند، پس درسهایی که اینجا تمام کردید نمیتوانند به ترتیب باز شوند. کوکیها را برای این سایت مجاز کنید و صفحه را دوباره بارگذاری کنید.