الذكاء الاصطناعي على الجهاز (بدون سحابة)
ترسل معظم تطبيقات AI النص الخاص بك إلى خادم شركة، والذي يقوم بتشغيل model ويرسل الإجابة مرة أخرى. هذا يعني أن الحسابات، و API keys، والفواتير، وبياناتك تخرج من جهازك. يرفض Floati كل ذلك.
يعملFloati بنظام الذكاء الاصطناعي client-side، مباشرة في متصفحك أو تطبيقك، باستخدام WebLLM فوق WebGPU. يعد WebGPU معيار متصفح يسمح لكود الويب باستخدام بطاقة الرسومات في جهازك؛ ويستخدمه WebLLM لتشغيل نموذج لغة حقيقي (أصغر) محليا. يتم تحميل أوزان النموذج مرة واحدة، ثم يحدث كل شيء على جهازك.
- لا مفاتيح، لا سحابة، لا فواتير. لا شيء للتسجيل فيه.
- خاص بالتصميم. لا تغادر أوامرك الجهاز أبدا، وهذا يتوافق مع وعد Floati بالأولوية للعمل دون اتصال.
- قيود صادقة. النماذج على الجهاز أصغر وأبطأ من النماذج الضخمة المستضافة، وهي تحتاج إلى متصفح يدعم WebGPU. المقايضة هي الخصوصية وتكلفة صفرية.
أياً كان النموذج الذي تتحدث معه، فأنت تتحدث معه عبر prompt. إنها عادة نظيفة وقابلة لإعادة الاستخدام أن تفصل تعليمات النظام (من يجب أن يكون النموذج) عن رسالة المستخدم، ثم تجمعهما في سلسلة واحدة مع دور نهائي واضح للنموذج لمتابعة العمل:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"النهاية في Assistant: تشير إلى المكان الذي يجب أن يبدأ فيه النموذج بالكتابة. ستقوم ببناء ذلك القالب الآن؛ الدرس التالي يستخدمه لاستدعاء النموذج على الجهاز فعليا.
اكتب build_prompt(system, user) الذي يعيد سلسلة نصية واحدة بهذا الشكل المحدد: System: <system>، ثم سطر جديد، User: <user>، سطر جديد، ثم Assistant: دون أي شيء بعده. ثم قم بتعيين prompt = build_prompt("You are concise.", "Summarize my week.").
سيفتح هذا التمرين قريبا
أنهِ الدرس السابق ليفتح هذا الدرس. الدورة كاملة مجانية، ولا تحتاج إلى حساب، ويمكنك قراءة هذا الدرس الآن.
يقوم هذا المتصفح بحظر ملفات تعريف الارتباط لـ learn.floati.life، لذا لا يمكن فتح الدروس التي أنهيتها هنا بالترتيب. اسمح بملفات تعريف الارتباط لهذا الموقع وأعد التحميل.