पाठ्यक्रम 250 में से पाठ 111 · Neural-net की समझ, LLMs और AI कैपस्टोन
Neural-net की समझ, LLMs और AI कैपस्टोन

On-device AI (कोई cloud नहीं)

ज़्यादातर AI ऐप आपका टेक्स्ट किसी कंपनी के server पर भेजते हैं, जो मॉडल चलाता है और जवाब वापस भेजता है। इसका मतलब है खाते, API keys, बिल, और आपका डेटा आपकी मशीन छोड़ता है। Floati इन सबसे मना करता है।

Floati अपना AI client की तरफ़ चलाता है, सीधे आपके ब्राउज़र या ऐप में, WebGPU के ऊपर WebLLM इस्तेमाल करके। WebGPU एक ब्राउज़र मानक है जो web कोड को आपके कंप्यूटर का graphics card इस्तेमाल करने देता है; WebLLM इसका इस्तेमाल एक असली (छोटा) भाषा मॉडल locally चलाने के लिए करता है। मॉडल weights एक बार download होते हैं, फिर सब कुछ आपके device पर होता है।

  • कोई keys नहीं, कोई cloud नहीं, कोई बिल नहीं। sign up करने को कुछ नहीं।
  • बनावट से निजी। आपके prompts कभी मशीन नहीं छोड़ते, जो Floati के offline-first वादे से मेल खाता है।
  • ईमानदार सीमाएँ। on-device मॉडल विशाल hosted वालों से छोटे और धीमे हैं, और उन्हें WebGPU सँभालने वाला ब्राउज़र चाहिए। अदला-बदली निजता और शून्य लागत है।

आप किसी भी मॉडल से बात करें, आप उससे एक prompt से बात करते हैं। एक साफ़, दोबारा इस्तेमाल होने वाली आदत है system निर्देश (मॉडल को कौन होना चाहिए) को उपयोगकर्ता के संदेश से अलग रखना, फिर उन्हें मॉडल के आगे बढ़ाने के लिए एक साफ़ आख़िरी बारी के साथ एक स्ट्रिंग में जोड़ना:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Assistant: पर ख़त्म करना बताता है कि मॉडल को कहाँ से लिखना शुरू करना है। आप अब वह template बनाएँगे; अगला पाठ इसे on-device मॉडल को सचमुच बुलाने के लिए इस्तेमाल करता है।

आपकी बारी

build_prompt(system, user) लिखें जो ठीक इस आकार में एक अकेली स्ट्रिंग लौटाए: System: <system>, फिर एक नई पंक्ति, User: <user>, एक नई पंक्ति, फिर Assistant: जिसके बाद कुछ नहीं। फिर prompt = build_prompt("You are concise.", "Summarize my week.") सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।