AI di Perangkat (Tanpa Cloud)
Kebanyakan aplikasi AI mengirim teks kamu ke server perusahaan, yang menjalankan model dan mengirimkan jawabannya kembali. Itu artinya akun, API keys, tagihan, dan data kamu keluar dari mesin kamu. Floati menolak semua itu.
Floati menjalankan AI client-side, langsung di browser atau aplikasi kamu, menggunakan WebLLM di atas WebGPU. WebGPU adalah standar browser yang memungkinkan kode web menggunakan kartu grafis komputer kamu; WebLLM menggunakannya untuk menjalankan model bahasa asli (lebih kecil) secara lokal. Bobot model diunduh sekali, lalu semuanya terjadi di perangkat kamu.
- Tanpa kunci, tanpa cloud, tanpa tagihan. Tidak ada yang perlu didaftarkan.
- Privasi adalah desainnya. Prompt kamu tidak akan pernah keluar dari mesin, yang sesuai dengan janji offline-first Floati.
- Batasan jujur. Model on-device lebih kecil dan lebih lambat daripada model hosted yang raksasa, dan mereka butuh browser yang mendukung WebGPU. Keuntungannya adalah privasi dan tanpa biaya.
Model apa pun yang kamu ajak bicara, kamu bicara dengannya lewat prompt. Kebiasaan yang bersih dan bisa dipakai ulang adalah memisahkan instruksi sistem (siapa model tersebut seharusnya) dari pesan pengguna, lalu menggabungkannya menjadi satu string dengan instruksi akhir yang jelas agar model bisa melanjutkan:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Berakhir pada Assistant: menandakan di mana model harus mulai menulis. Kamu akan membangun template itu sekarang; pelajaran berikutnya menggunakannya untuk benar-benar memanggil model on-device.
Tulis build_prompt(system, user) yang mengembalikan satu string dalam bentuk tepat ini: System: <system>, lalu baris baru, User: <user>, baris baru, lalu Assistant: tanpa ada apa pun setelahnya. Kemudian atur prompt = build_prompt("You are concise.", "Summarize my week.").
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.