المنهج الدراسي الدرس 111 من 250 · حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي
حدس الشبكات العصبية، والنماذج اللغوية الكبيرة، ومشروع التخرج في الذكاء الاصطناعي

الذكاء الاصطناعي على الجهاز (بدون سحابة)

ترسل معظم تطبيقات AI النص الخاص بك إلى خادم شركة، والذي يقوم بتشغيل model ويرسل الإجابة مرة أخرى. هذا يعني أن الحسابات، و API keys، والفواتير، وبياناتك تخرج من جهازك. يرفض Floati كل ذلك.

يعمل

Floati بنظام الذكاء الاصطناعي client-side، مباشرة في متصفحك أو تطبيقك، باستخدام WebLLM فوق WebGPU. يعد WebGPU معيار متصفح يسمح لكود الويب باستخدام بطاقة الرسومات في جهازك؛ ويستخدمه WebLLM لتشغيل نموذج لغة حقيقي (أصغر) محليا. يتم تحميل أوزان النموذج مرة واحدة، ثم يحدث كل شيء على جهازك.

  • لا مفاتيح، لا سحابة، لا فواتير. لا شيء للتسجيل فيه.
  • خاص بالتصميم. لا تغادر أوامرك الجهاز أبدا، وهذا يتوافق مع وعد Floati بالأولوية للعمل دون اتصال.
  • قيود صادقة. النماذج على الجهاز أصغر وأبطأ من النماذج الضخمة المستضافة، وهي تحتاج إلى متصفح يدعم WebGPU. المقايضة هي الخصوصية وتكلفة صفرية.

أياً كان النموذج الذي تتحدث معه، فأنت تتحدث معه عبر prompt. إنها عادة نظيفة وقابلة لإعادة الاستخدام أن تفصل تعليمات النظام (من يجب أن يكون النموذج) عن رسالة المستخدم، ثم تجمعهما في سلسلة واحدة مع دور نهائي واضح للنموذج لمتابعة العمل:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

النهاية في Assistant: تشير إلى المكان الذي يجب أن يبدأ فيه النموذج بالكتابة. ستقوم ببناء ذلك القالب الآن؛ الدرس التالي يستخدمه لاستدعاء النموذج على الجهاز فعليا.

دورك

اكتب build_prompt(system, user) الذي يعيد سلسلة نصية واحدة بهذا الشكل المحدد: System: <system>، ثم سطر جديد، User: <user>، سطر جديد، ثم Assistant: دون أي شيء بعده. ثم قم بتعيين prompt = build_prompt("You are concise.", "Summarize my week.").

هل لاحظت مشكلة في هذا الدرس؟ أبلغ عنها · اسأل عن هذا الدرس

سيفتح هذا التمرين قريبا

أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.