Программа курса Урок 88 из 156 · Приватный ИИ
Приватный ИИ

Модели на устройстве

Почему это важно Модель на устройстве отвечает вам, а ваши слова при этом не покидают компьютер или телефон. Это превращает "доверьте нам свои данные" в "у нас никогда не было ваших данных". Так работают ИИ-шлифовка в CV Builder и тьютор этого курса, и вы можете проверить это сами.

Повар на вашей кухне

Облачный ИИ похож на ресторан: вы отдаёте заказ официанту, а готовят где-то вне поля зрения. Модель на устройстве - как повар, пришедший к вам на кухню. Повару нужно один раз до вас добраться (это загрузка), но после этого каждое блюдо готовится дома, и никто больше не видит, что вы едите.

Модель: большой файл чисел (их называют весами) плюс код, который использует их, чтобы предсказывать следующие слова текста. "Запустить модель" - значит проделать много математики с этими числами.

Модель на устройстве: модель, веса которой загружаются на ваше устройство и выполняются там, на вашем процессоре или графическом чипе. Ваш промпт и ответ остаются на устройстве.

Как это работает в браузере

Floati использует WebLLM, библиотеку с открытым кодом, которая запускает языковые модели внутри веб-страницы. Это работает благодаря трём частям:

  • WebGPU - функция браузера, которая позволяет странице использовать ваш графический чип (GPU) для быстрой математики. Языковым моделям нужно много математики, и именно это делает их пригодными во вкладке.
  • Небольшая сжатая модель. Тьютор курса и CV Builder используют небольшую модель, следующую инструкциям, примерно на полмиллиарда параметров, сжатую так, чтобы поместиться в браузер (проверено в октябре 2026).
  • Кэш браузера, который хранит загруженные веса, чтобы следующий визит начинался гораздо быстрее.

Параметры: отдельные числа внутри модели. Больше параметров обычно означает более способную модель и более крупную загрузку.

Квантизация: хранение каждого числа меньшим количеством бит (например, 4 бита вместо 16 или 32). Как сохранить фото в более низком качестве: намного меньше, чуть менее резко.

Что всё же идёт по сети

Здесь важна честность. Модель на устройстве - это не "совсем без сети". Загружаются две вещи:

  1. Код библиотеки, который запускает модель.
  2. Веса модели - сотни мегабайт, загружаются один раз и затем кэшируются.

Обе - это загрузки к вам. Никогда не отправляется ваша сторона: вопросы, которые вы задаёте, и текст, который вставляете. Сервер, на котором лежат веса, узнаёт, что кто-то скачал модель, как при скачивании любого файла, но никогда не видит ваш разговор.

Компромиссы

Облачная модельМодель на устройстве
Кто видит ваш текстПровайдерТолько ваше устройство
КачествоОбычно намного сильнееХороша в небольших узких задачах
Первое использованиеМгновенноБольшая разовая загрузка
Что нужноПодключение к интернетуБраузер с WebGPU и достаточно памяти
Работает офлайнНетДа, после загрузки

WebGPU доступен в актуальных настольных версиях Chrome, Edge и Safari и в Firefox на некоторых системах (проверено в октябре 2026). На старых устройствах или с малым объёмом памяти модель может вовсе не загрузиться, поэтому в CV Builder от Floati есть ещё и простой помощник на правилах, которому модель не нужна. Важно понимать разницу: этот помощник работает на собственном сервере Floati, поэтому текст вашего резюме отправляется туда, но никогда не в ИИ-компанию.

Распространённое заблуждение

"Маленькие модели бесполезны." Модель на полмиллиарда параметров не напишет вам роман, но хорошо справляется с узкими задачами: переформулировать предложение, дать подсказку, кратко изложить абзац. Для многих приватных задач небольшая локальная модель - правильный инструмент, а гигантская облачная модель - перебор, который стоит вам ваших данных.

Попробуйте Откройте урок с тьютором и откройте DevTools браузера (F12 или Cmd+Option+I на Mac), затем вкладку Network. Запустите тьютора: вы увидите большие загрузки модели. Когда она загрузится, очистите список и задайте тьютору вопрос. Следите за списком: вы можете увидеть маленький счётчик страниц, но ни один запрос не несёт ваш вопрос или ваш код.

Итоги

  • Модель на устройстве работает на вашем собственном оборудовании, поэтому промпты и ответы никогда не покидают устройство.
  • В браузере для этого используются WebGPU, небольшая квантизованная модель и кэш; тьютор Floati и CV Builder используют WebLLM именно так.
  • Код и веса загружаются к вам один раз; ваш текст никогда не выгружается.
  • Цена - более низкое качество, большая первая загрузка и требования к устройству.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.