ИИ на устройстве (без облака)
Большинство приложений ИИ отправляют ваш текст на сервер компании, который запускает модель и отправляет ответ обратно. Это значит, что аккаунты, API keys, счета и ваши данные покидают ваше устройство. Floati отказывается от всего этого.
Floati запускает свой ИИ client-side прямо в вашем браузере или приложении, используя WebLLM поверх WebGPU. WebGPU это стандарт браузера, который позволяет веб коду использовать видеокарту вашего компьютера; WebLLM использует его для запуска настоящей (меньшей) языковой модели локально. Веса модели скачиваются один раз, затем все происходит на вашем устройстве.
- Никаких ключей, никакого облака, никаких счетов.Ничего не нужно регистрировать.
- Конфиденциально по умолчанию. Ваши промпты никогда не покидают машину, что соответствует обещанию Floati работать в первую очередь офлайн.
- Честные ограничения. Модели на устройстве меньше и медленнее, чем гигантские размещенные модели, и им нужен браузер с поддержкой WebGPU. Компромисс заключается в приватности и нулевых затратах.
С какой бы моделью вы ни общались, вы общаетесь с ней через prompt. Чистая и удобная привычка заключается в том, чтобы держать системную инструкцию (кем должна быть модель) отдельно от сообщения пользователя, а затем объединять их в одну строку с четким финальным поворотом для продолжения модели:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Завершение на Assistant: сигнализирует, где модели нужно начать писать. Вы построите этот шаблон сейчас; следующий урок использует его, чтобы реально вызвать on-device модель.
Напишите build_prompt(system, user), который возвращает одну строку в таком формате: System: <system>, затем новая строка, User: <user>, новая строка, затем Assistant: без ничего после него. Затем установите prompt = build_prompt("You are concise.", "Summarize my week.").
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.