Модели на устройстве
Почему это важно Модель на устройстве отвечает вам, а ваши слова при этом не покидают компьютер или телефон. Это превращает "доверьте нам свои данные" в "у нас никогда не было ваших данных". Так работают ИИ-шлифовка в CV Builder и тьютор этого курса, и вы можете проверить это сами.
Повар на вашей кухне
Облачный ИИ похож на ресторан: вы отдаёте заказ официанту, а готовят где-то вне поля зрения. Модель на устройстве - как повар, пришедший к вам на кухню. Повару нужно один раз до вас добраться (это загрузка), но после этого каждое блюдо готовится дома, и никто больше не видит, что вы едите.
Модель: большой файл чисел (их называют весами) плюс код, который использует их, чтобы предсказывать следующие слова текста. "Запустить модель" - значит проделать много математики с этими числами.
Модель на устройстве: модель, веса которой загружаются на ваше устройство и выполняются там, на вашем процессоре или графическом чипе. Ваш промпт и ответ остаются на устройстве.
Как это работает в браузере
Floati использует WebLLM, библиотеку с открытым кодом, которая запускает языковые модели внутри веб-страницы. Это работает благодаря трём частям:
- WebGPU - функция браузера, которая позволяет странице использовать ваш графический чип (GPU) для быстрой математики. Языковым моделям нужно много математики, и именно это делает их пригодными во вкладке.
- Небольшая сжатая модель. Тьютор курса и CV Builder используют небольшую модель, следующую инструкциям, примерно на полмиллиарда параметров, сжатую так, чтобы поместиться в браузер (проверено в октябре 2026).
- Кэш браузера, который хранит загруженные веса, чтобы следующий визит начинался гораздо быстрее.
Параметры: отдельные числа внутри модели. Больше параметров обычно означает более способную модель и более крупную загрузку.
Квантизация: хранение каждого числа меньшим количеством бит (например, 4 бита вместо 16 или 32). Как сохранить фото в более низком качестве: намного меньше, чуть менее резко.
Что всё же идёт по сети
Здесь важна честность. Модель на устройстве - это не "совсем без сети". Загружаются две вещи:
- Код библиотеки, который запускает модель.
- Веса модели - сотни мегабайт, загружаются один раз и затем кэшируются.
Обе - это загрузки к вам. Никогда не отправляется ваша сторона: вопросы, которые вы задаёте, и текст, который вставляете. Сервер, на котором лежат веса, узнаёт, что кто-то скачал модель, как при скачивании любого файла, но никогда не видит ваш разговор.
Компромиссы
| Облачная модель | Модель на устройстве | |
|---|---|---|
| Кто видит ваш текст | Провайдер | Только ваше устройство |
| Качество | Обычно намного сильнее | Хороша в небольших узких задачах |
| Первое использование | Мгновенно | Большая разовая загрузка |
| Что нужно | Подключение к интернету | Браузер с WebGPU и достаточно памяти |
| Работает офлайн | Нет | Да, после загрузки |
WebGPU доступен в актуальных настольных версиях Chrome, Edge и Safari и в Firefox на некоторых системах (проверено в октябре 2026). На старых устройствах или с малым объёмом памяти модель может вовсе не загрузиться, поэтому в CV Builder от Floati есть ещё и простой помощник на правилах, которому модель не нужна. Важно понимать разницу: этот помощник работает на собственном сервере Floati, поэтому текст вашего резюме отправляется туда, но никогда не в ИИ-компанию.
Распространённое заблуждение
"Маленькие модели бесполезны." Модель на полмиллиарда параметров не напишет вам роман, но хорошо справляется с узкими задачами: переформулировать предложение, дать подсказку, кратко изложить абзац. Для многих приватных задач небольшая локальная модель - правильный инструмент, а гигантская облачная модель - перебор, который стоит вам ваших данных.
Попробуйте Откройте урок с тьютором и откройте DevTools браузера (F12 или Cmd+Option+I на Mac), затем вкладку Network. Запустите тьютора: вы увидите большие загрузки модели. Когда она загрузится, очистите список и задайте тьютору вопрос. Следите за списком: вы можете увидеть маленький счётчик страниц, но ни один запрос не несёт ваш вопрос или ваш код.
Итоги
- Модель на устройстве работает на вашем собственном оборудовании, поэтому промпты и ответы никогда не покидают устройство.
- В браузере для этого используются WebGPU, небольшая квантизованная модель и кэш; тьютор Floati и CV Builder используют WebLLM именно так.
- Код и веса загружаются к вам один раз; ваш текст никогда не выгружается.
- Цена - более низкое качество, большая первая загрузка и требования к устройству.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.