ما هو الـ LLM؟
A large language model (LLM) مثل تلك الموجودة خلف المساعدين الذكيين، هي في جوهرها، متنبئ ضخم للكلمة التالية. بعض المصطلحات تجعل الأمر واضحا تماما.
- Tokens. يتم تقسيم النص إلى قطع تسمى tokens، وهي تقريبًا كلمات أو أجزاء من كلمات. يقرأ النموذج ويكتب tokens، وليس أحرفًا خامًا. قاعدة تقريبية: الـ token الواحد يعادل حوالي أربعة أحرف من اللغة الإنجليزية.
- Prediction. بناء على الرموز حتى الآن، يخرج النموذج احتمالية لكل رمز تالي ممكن. يختار واحدا، ويضيفه، ويكرر العملية. تلك الحلقة هي كيف يكتب فقرات كاملة.
- Prompt. النص الذي تقدمه. كل ما يعرفه النموذج عن طلبك موجود في الـ prompt، لذا فإن طريقة صياغتك له تهم كثيرا (الدروس القادمة).
- Temperature. مقبض للتحكم في عشوائية ذلك الاختيار. بالقرب من
0يأخذ النموذج دائما تقريبا الرمز الأكثر احتمالا (مركز، متكرر). القيم الأعلى تسمح له باختيار رموز أقل احتمالا (أكثر إبداعا، أقل موثوقية). النماذج المحلية، مثل النموذج في مشروع التخرج في هذه الدورة، لا تزال تستخدم هذا المقبض. أحدث نماذج Claude المستضافة لا تفعل ذلك: فهي تضبط عينات خاصة بها وتجيب على إعداد temperature بخطأ، لذا هناك تقوم بتوجيه المخرجات من خلال prompt. - Hallucination. لأنها تتوقع نصوصا معقولة بدلا من البحث عن الحقائق، يمكن لـ LLM ذكر أشياء خاطئة بثقة تامة. تحقق دائما من الحقائق التي تقدمها لك.
تعتمد أدوات Tokenizers الحقيقية على الوحدات الفرعية وتتعلم من البيانات. لن نقوم ببنائها هنا، ولكن يمكننا بناء أبسط Tokenizer ممكن (التقسيم بناء على المسافات البيضاء) لنشعر بما يعنيه عد الـ tokens. يتم قياس الاستخدام والحدود من خلال أعداد الـ tokens.
def tokenize(text):
return text.split() # whitespace tokens
tokenize("the cat sat") # ['the', 'cat', 'sat']التقسيم بناء على المسافات البيضاء هو مجرد بديل تجريبي. تقوم أدوات tokenizers الحقيقية بالتقسيم إلى أجزاء subword، لذا فإن قاعدة تقدير شائعة هي tokens ≈ len(text) / 4 حرفا، وتقرأ الأكواد الإنتاجية العدد الدقيق من حقل usage الذي تعيده الـ API (أو من endpoint مخصص لـ count-tokens) بدلا من التخمين.
نماذج التفكير
يصف كل ما سبق نموذجاً يرسل إجابته مباشرة. عائلة أحدث، نماذج الاستدلال، تستهلك أولاً ميزانية مخفية من رموز "التفكير" لمعالجة المشكلة خطوة بخطوة، ثم تكتب الإجابة النهائية. هذا التفكير الإضافي يضمن دقة حقيقية في المهام الصعبة والمتعددة الخطوات (الرياضيات، الكود، التخطيط الدقيق)، وغالباً ما تحصل على أداة تحكم: ميزانية جهد أو تفكير أعلى تعني المزيد من رموز التفكير، وزيادة في زمن الاستجابة، وتكلفة أعلى. الحكم الهندسي هو ببساطة متى يكون الأمر يستحق ذلك: استخدم نموذج استدلال في الخطوة الصعبة حقاً، واستخدم نموذجاً سريعاً ورخيصاً للمهام الروتينية. ستطبق هذا التوازن بالضبط لاحقاً عندما تبني نظاماً متسلسلاً واعياً بالتكلفة يوجه الطلبات السهلة إلى النموذج الرخيص ويرفع الطلبات الصعبة فقط.
اكتب محلل رموز بسيط للفراغات. تعيد tokenize(text) قائمة الرموز المفصولة بالفراغات (استخدم .split()). تعيد count_tokens(text) عدد هذه الرموز. ثم قم بتعيين tokens = tokenize(sample) و n_tokens = count_tokens(sample).
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.