سرفصل‌ها درس 111 از 250 · شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی
شهود شبکه عصبی، LLMها و پروژه پایانی هوش مصنوعی

هوش مصنوعی روی دستگاه (بدون ابری)

اکثر اپلیکیشن‌های هوش مصنوعی متن شما را به سرور شرکت مربوطه ارسال می‌کنند، سروری که مدل را اجرا کرده و پاسخ را بازمی‌گرداند. این یعنی حساب‌ها، کلیدهای API، صورت‌حساب‌ها و داده‌های شما از دستگاهتان خارج می‌شوند. Floati همه این‌ها را رد می‌کند.

فلواتی مدل هوش مصنوعی خود را به‌صورت کلاینت‌ساید، مستقیماً در مرورگر یا اپلیکیشن شما و با استفاده از WebLLM روی WebGPU اجرا می‌کند. WebGPU یک استاندارد مرورگر است که به کدهای وب اجازه می‌دهد از کارت گرافیک کامپیوتر شما استفاده کنند؛ WebLLM از آن برای اجرای یک مدل زبانی واقعی (کوچکتر) به‌صورت محلی بهره می‌برد. وزن‌های مدل یک‌بار دانلود می‌شوند و پس از آن، همه‌چیز روی دستگاه شما انجام می‌شود.

  • نه کلید، نه ابری، نه صورت‌حساب. نیازی به ثبت‌نام نیست.
  • محرمیت ذاتی. ورودی‌های شما هرگز دستگاه را ترک نمی‌کنند، که با وعده «اول آفلاین» فلواتی مطابقت دارد.
  • محدودیت‌های صادقانه. مدل‌های روی دستگاه از مدل‌های عظیم میزبانی‌شده کوچک‌تر و کندتر هستند و به یک مرورگر با قابلیت WebGPU نیاز دارند. در ازای این، به حریم خصوصی و هزینه‌ای صفر دست می‌یابید.

هر مدلی را که با آن صحبت می‌کنید، از طریق یک پرامپت با آن ارتباط برقرار می‌کنید. یک عادت تمیز و قابل استفاده مجدد این است که دستور سیستم (اینکه مدل باید چه کسی باشد) را از پیام کاربر جدا نگه دارید، سپس آن‌ها را در یک رشته با یک پایان‌بندی واضح برای ادامه مدل، به هم متصل کنید:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

پایان در Assistant: نشان می‌دهد که مدل باید از کجا شروع به نوشتن کند. شما اکنون آن قالب را می‌سازید؛ درس بعدی از آن برای فراخوانی واقعی مدل روی دستگاه استفاده می‌کند.

نوبت شما

نوشتن build_prompt(system, user) که یک رشتهٔ واحد را با این شکل دقیق بازمی‌گرداند: System: <system>، سپس یک خط جدید، User: <user>، یک خط جدید، سپس Assistant: بدون هیچ چیز بعد از آن. سپس تنظیم کنید prompt = build_prompt("You are concise.", "Summarize my week.").

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.