On-device models
यह क्यों मायने रखता है एक on-device model आपके शब्दों के कभी आपके कंप्यूटर या फ़ोन से निकले बिना आपको जवाब देता है। यह "अपने डेटा के लिए हम पर भरोसा करें" को "हमारे पास आपका डेटा कभी था ही नहीं" में बदलता है। CV Builder का AI polish और इस कोर्स का tutor ऐसे ही काम करते हैं, और आप इसे ख़ुद जाँच सकते हैं।
आपकी रसोई में शेफ़
एक cloud AI एक restaurant जैसा है: आप अपना order एक waiter को देते हैं और खाना नज़रों से दूर बनता है। एक on-device model शेफ़ के आपकी रसोई में आने जैसा है। शेफ़ को एक बार आप तक आना होता है (वह download है), पर उसके बाद हर खाना घर पर बनता है, और कोई और नहीं देखता कि आप क्या खाते हैं।
Model: संख्याओं की एक बड़ी फ़ाइल (जिन्हें weights कहते हैं) और code जो उनका इस्तेमाल एक टेक्स्ट के अगले शब्दों की भविष्यवाणी करने में करता है। "एक model चलाना" का मतलब उन संख्याओं से बहुत सारा गणित करना है।
On-device model: एक model जिसके weights आपके device पर download होते हैं और वहीं चलते हैं, आपके अपने processor या graphics chip से। आपका prompt और जवाब device पर रहते हैं।
यह एक ब्राउज़र में कैसे काम करता है
Floati WebLLM इस्तेमाल करता है, एक open-source library जो एक वेब पन्ने के अंदर language models चलाती है। तीन टुकड़े इसे काम कराते हैं:
- WebGPU, एक ब्राउज़र feature जो एक पन्ने को तेज़ गणित के लिए आपका graphics chip (GPU) इस्तेमाल करने देता है। Language models को बहुत गणित चाहिए, इसलिए यही उन्हें एक tab में इस्तेमाल लायक बनाता है।
- एक छोटा, compressed model। कोर्स tutor और CV Builder लगभग आधे अरब parameters का एक छोटा निर्देश-पालन model इस्तेमाल करते हैं, compressed ताकि वह एक ब्राउज़र में समा जाए (अक्टूबर 2026 में जाँचा)।
- ब्राउज़र का cache, जो download किए weights रखता है ताकि अगली visit बहुत तेज़ शुरू हो।
Parameters: एक model के अंदर की अलग-अलग संख्याएँ। ज़्यादा parameters का आमतौर पर मतलब ज़्यादा सक्षम model, और एक बड़ा download।
Quantisation: हर संख्या को कम bits से रखना (उदाहरण के लिए 16 या 32 के बजाय 4 bits)। एक तस्वीर को कम quality पर सहेजने की तरह: बहुत छोटा, थोड़ा कम तीखा।
Network पर क्या जाता है
यहाँ ईमानदारी मायने रखती है। एक on-device model इस्तेमाल करना "बिल्कुल कोई network नहीं" नहीं है। दो चीज़ें download होती हैं:
- Library code जो model चलाता है।
- Model weights, जो सैकड़ों megabytes हैं, एक बार download होकर फिर cache होते हैं।
दोनों आप तक downloads हैं। जो कभी नहीं भेजा जाता वह आपकी ओर है: आपके पूछे सवाल और आपका चिपकाया टेक्स्ट। weights host करने वाला server जान लेता है कि किसी ने एक model download किया, किसी भी फ़ाइल को download करने की तरह, पर वह कभी आपकी बातचीत नहीं देखता।
लेन-देन
| Cloud model | On-device model | |
|---|---|---|
| आपका टेक्स्ट कौन देखता है | प्रदाता | सिर्फ़ आपका device |
| Quality | आमतौर पर बहुत ज़्यादा मज़बूत | छोटे, केंद्रित कामों में अच्छा |
| पहला इस्तेमाल | तुरंत | एक बड़ा एक-बार का download |
| ज़रूरत | एक internet connection | WebGPU और काफ़ी memory वाला एक ब्राउज़र |
| Offline काम करता है | नहीं | हाँ, download होने के बाद |
WebGPU Chrome, Edge और Safari के मौजूदा desktop वर्ज़नों में, और कुछ सिस्टमों पर Firefox में उपलब्ध है (अक्टूबर 2026 में जाँचा)। पुराने या कम-memory वाले devices पर model शायद बिल्कुल load न हो, इसीलिए Floati के CV Builder में एक सरल नियम-आधारित suggester भी है जिसे किसी model की ज़रूरत नहीं। अंतर के बारे में साफ़ रहें: वह suggester Floati के अपने server पर चलता है, इसलिए आपका CV टेक्स्ट वहाँ भेजा जाता है, पर कभी किसी AI कंपनी को नहीं।
एक आम ग़लतफ़हमी
"छोटे models बेकार हैं।" आधे अरब parameters वाला model आपका उपन्यास नहीं लिखेगा, पर वह संकरे कामों में अच्छा है: एक वाक्य फिर से कहना, एक संकेत देना, एक paragraph का सार बनाना। कई निजी कामों के लिए एक छोटा स्थानीय model सही औज़ार है, और एक विशाल cloud model ज़रूरत से ज़्यादा है जो आपके डेटा की क़ीमत लेता है।
आज़माएँ tutor वाला एक पाठ खोलें और अपने ब्राउज़र के DevTools (F12, या Mac पर Cmd+Option+I), फिर Network tab खोलें। tutor शुरू करें: आपको model के लिए बड़े downloads दिखेंगे। एक बार load हो जाए, सूची साफ़ करें और tutor से एक सवाल पूछें। सूची देखें: आपको एक छोटा पन्ना counter दिख सकता है, पर कोई request आपका सवाल या आपका code नहीं ले जाती।
सार
- एक on-device model आपके अपने hardware पर चलता है, इसलिए आपके prompts और जवाब कभी device से नहीं निकलते।
- एक ब्राउज़र में यह WebGPU, एक छोटा quantised model और cache इस्तेमाल करता है; Floati का tutor और CV Builder WebLLM ऐसे ही इस्तेमाल करते हैं।
- code और weights आप तक एक बार download होते हैं; आपका टेक्स्ट कभी upload नहीं होता।
- क़ीमत कम quality, एक बड़ा पहला download और device की ज़रूरतें हैं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।