Cihaz Üzerinde Yapay Zeka (Bulut Yok)
Çoğu AI uygulaması metnini modeli çalıştıran ve cevabı geri gönderen bir şirketin sunucusuna gönderir. Bu, hesapların, API anahtarlarının, faturaların ve verilerinin senin makineni terk etmesi demektir. Floati tüm bunları reddeder.
Floati, AI'yi client-side, yani doğrudan tarayıcında veya uygulanda, WebLLM kullanarak WebGPU üzerinde çalıştırır. WebGPU, web kodunun bilgisayarının grafik kartını kullanmasına izin veren bir tarayıcı standardıdır; WebLLM, yerel olarak gerçek (daha küçük) bir dil modelini çalıştırmak için bunu kullanır. Model ağırlıkları bir kez indirilir, sonra her şey cihazında gerçekleşir.
- Anahtar yok, bulut yok, fatura yok. Kayıt olmak için bir şey yok.
- Tasarım gereği özel. Komutların asla makineden çıkmaz, bu da Floati'nin çevrimdışı öncelikli vaadiyle örtüşür.
- Dürüst sınırlar. Cihaz üzerindeki modeller, devasa barındırılan modellerden daha küçük ve yavaştır, ayrıca WebGPU destekli bir tarayıcı gerektirirler. Karşılığında gizlilik ve sıfır maliyet elde edersin.
Hangi modelle konuşursan konuş, onunla bir prompt üzerinden konuşursun. Temiz ve tekrar kullanılabilir bir alışkanlık, sistem talimatını (modelin kim olacağı) kullanıcının mesajından ayrı tutmak ve sonra bunları modelin devam etmesi için net bir final dönüşü içeren tek bir string haline getirmektir:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Assistant: modelin yazmaya nereden başlayacağını belirtir. Şimdi o şablonu oluşturacaksın; bir sonraki ders, cihaz üzerindeki modeli gerçekten çağırmak için onu kullanacak.
build_prompt(system, user) yaz, tam olarak bu şekilde tek bir string döndürsün: System: <system>, sonra bir yeni satır, User: <user>, bir yeni satır, sonra arkasından hiçbir şey gelmeyecek şekilde Assistant:. Sonra prompt = build_prompt("You are concise.", "Summarize my week.") ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.