Müfredat 156 dersinden 88. · Özel Yapay Zeka
Özel Yapay Zeka

Cihaz içi modeller

Neden önemli Cihaz üzerinde çalışan bir model, kelimelerin bilgisayarından veya telefonundan hiç çıkmadan sana cevap verir. Bu durum "verilerinize güvenin" ifadesini "verilerinize hiç sahip olmadık" haline getirir. CV Builder'ın AI polish ve bu kursun tutor'u bu şekilde çalışır ve bunu kendin kontrol edebilirsin.

Mutfağındaki şef

A bulut yapay zekası bir restoran gibidir: siparişini garsona verirsin ve yemek pişirme işlemi gözden uzak gerçekleşir. Cihaz üzerinde çalışan bir model ise şefin mutfağına gelmesi gibidir. Şefin bir kez yanına gelmesi gerekir (bu indirme işlemidir), ama ondan sonra her yemek evde pişer ve başka hiç kimse ne yediğini görmez.

Model: bir sonraki kelimeleri tahmin etmek için kullanılan sayılardan oluşan büyük bir dosya (weights olarak adlandırılır) ve bu sayıları kullanan kod. "Bir modeli çalıştırmak" bu sayılarla çok fazla matematiksel işlem yapmak demektir.

Cihaz üzerinde model: ağırlıkları cihazına indirilen ve kendi işlemcini veya grafik çipini kullanarak orada çalışan bir modeldir. İstemin ve cevap cihazda kalır.

Tarayıcıda nasıl çalışır

Floati, bir web sayfası içinde dil modellerini çalıştıran açık kaynaklı bir kütüphane olan WebLLM kullanır. Üç parça çalışmasını sağlar:

  • WebGPU, bir sayfanın hızlı matematik işlemleri için grafik çipini (GPU) kullanmasına olanak tanıyan bir tarayıcı özelliğidir. Dil modelleri çok fazla matematik gerektirir, bu yüzden onları bir sekmede kullanılabilir kılan şey budur.
  • A küçük, sıkıştırılmış bir model. Kurs eğitmeni ve CV Builder, tarayıcıya sığacak şekilde sıkıştırılmış, yaklaşık yarım milyar parametreli küçük bir talimat takip modeli kullanıyor (Ekim 2026 kontrol edildi).
  • Tarayıcı önbelleği, indirilen ağırlıkları saklar böylece bir sonraki ziyaret çok daha hızlı başlar.

Parametreler: bir modelin içindeki tekil sayılar. Daha fazla parametre genellikle daha yetenekli bir model ve daha büyük bir indirme demektir.

Quantisation: her bir sayıyı daha az bit ile saklamak (örneğin 16 veya 32 yerine 4 bit). Bir fotoğrafı daha düşük kalitede kaydetmek gibi: çok daha küçük, biraz daha az net.

Ağ üzerinden seyahat etmek nedir

Burada dürüstlük önemli. Cihaz üzerinde bir model kullanmak "hiç ağ yok" demek değildir. İki şey indiriliyor:

  1. Modeli çalıştıran kütüphane kodu.
  2. Model ağırlıkları, yüzlerce megabayt boyutundadır, bir kez indirilir ve sonra önbelleğe alınır.

Her ikisi de senin için indirmelerdir to. Asla gönderilmeyen şey your tarafındır: sorduğun sorular ve yapıştırdığın metin. Ağırlıkları barındıran sunucu, tıpkı herhangi bir dosya indirmek gibi birinin bir modeli indirdiğini öğrenir ama konuşmanı asla görmez.

Ödünçler

kullan
Bulut modeliCihaz üzerinde model
Metnini kim görüyorSağlayıcıSadece senin cihazın
KaliteGenellikle çok daha güçlüKüçük, odaklanmış işlerde iyidir
Önce Anındabüyük bir seferlik indirme
İhtiyaçDuyarBir internet bağlantısı WebGPU ve yeterli belleğe sahip bir tarayıcı
Çevrimdışı çalışıyorNoEvet, bir kez indirildikten sonra

WebGPU, Chrome, Edge ve Safari'nin güncel masaüstü sürümlerinde ve bazı sistemlerdeki Firefox'ta mevcut (Ekim 2026'da kontrol edildi). Eski veya düşük bellekli cihazlarda model hiç yüklenmeyebilir, bu yüzden Floati'nin CV Builder'ı model gerektirmeyen basit bir kural tabanlı önericiye de sahip. Aradaki farkı netleştir: o önerici Floati'nin kendi sunucusunda çalışır, bu yüzden CV metnin oraya gönderilir ancak asla bir yapay zeka şirketine gönderilmez.

Yaygın bir yanılgı

"Küçük modeller işe yaramaz." Yarım milyar parametreli bir model romanını yazmaz ama dar işlerde iyidir: bir cümleyi yeniden ifade etmek, ipucu vermek, bir paragrafı özetlemek. Birçok özel görev için küçük yerel bir model doğru araçtır ve devasa bir bulut modeli verilerini kaybetmene neden olan aşırı bir yük olur.

Kendin deneEğitmenle bir ders aç ve tarayıcının DevTools (Mac'te F12 veya Cmd+Option+I) aracını, ardından Network sekmesini aç. Eğitmeni başlat: model için büyük indirmeler göreceksin. Yüklendiğinde listeyi temizle ve eğitmene bir soru sor. Listeyi izle: küçük bir sayfa sayacı görebilirsin ama hiçbir istek sorunu veya kodunu taşımıyor.

Özet

  • Cihaz üzerinde çalışan bir model kendi donanımında çalışır, bu yüzden istemlerin ve cevapların cihazdan asla çıkmaz.
  • Tarayıcıda bu WebGPU, küçük bir kuantize edilmiş model ve önbelleği kullanır; Floati'nin öğreticisi ve CV Builder WebLLM'i bu şekilde kullanır.
  • Kod ve ağırlıklar sana bir kez indirilir; metnin asla yüklenmez.
  • Maliyet daha düşük kalite, büyük bir ilk indirme ve cihaz gereksinimleridir.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.