شاهد: كيف تتحول النصوص إلى أرقام
قبل أن يتمكن LLM من القيام بأي شيء بطلبك، يجب عليه تحويل نصك إلى أرقام، لأن الشبكة العصبية تقوم بعمليات حسابية على الأرقام فقط. الخطوة التي تقوم بذلك هي tokenization.
اضغط على زر التشغيل. شاهد كلمة واحدة يتم تقسيمها إلى tokens (قطع نصية متكررة، غالباً ما تكون أجزاء من الكلمات، وليست كلمات كاملة)، وشاهد كل token يتحول إلى integer id من مفردات النموذج. بعد ذلك، لا يرى النموذج الحروف مرة أخرى، بل يرى فقط قائمة من ids.
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.