المنهج الدراسي الدرس 109 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

شاهد: كيف تتحول النصوص إلى أرقام

قبل أن يتمكن LLM من القيام بأي شيء بطلبك، يجب عليه تحويل نصك إلى أرقام، لأن الشبكة العصبية تقوم بعمليات حسابية على الأرقام فقط. الخطوة التي تقوم بذلك هي tokenization.

اضغط على زر التشغيل. شاهد كلمة واحدة يتم تقسيمها إلى tokens (قطع نصية متكررة، غالباً ما تكون أجزاء من الكلمات، وليست كلمات كاملة)، وشاهد كل token يتحول إلى integer id من مفردات النموذج. بعد ذلك، لا يرى النموذج الحروف مرة أخرى، بل يرى فقط قائمة من ids.

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.