Программа курса Урок 111 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

ИИ на устройстве (без облака)

Большинство приложений ИИ отправляют ваш текст на сервер компании, который запускает модель и отправляет ответ обратно. Это значит, что аккаунты, API keys, счета и ваши данные покидают ваше устройство. Floati отказывается от всего этого.

Floati запускает свой ИИ client-side прямо в вашем браузере или приложении, используя WebLLM поверх WebGPU. WebGPU это стандарт браузера, который позволяет веб коду использовать видеокарту вашего компьютера; WebLLM использует его для запуска настоящей (меньшей) языковой модели локально. Веса модели скачиваются один раз, затем все происходит на вашем устройстве.

  • Никаких ключей, никакого облака, никаких счетов.Ничего не нужно регистрировать.
  • Конфиденциально по умолчанию. Ваши промпты никогда не покидают машину, что соответствует обещанию Floati работать в первую очередь офлайн.
  • Честные ограничения. Модели на устройстве меньше и медленнее, чем гигантские размещенные модели, и им нужен браузер с поддержкой WebGPU. Компромисс заключается в приватности и нулевых затратах.

С какой бы моделью вы ни общались, вы общаетесь с ней через prompt. Чистая и удобная привычка заключается в том, чтобы держать системную инструкцию (кем должна быть модель) отдельно от сообщения пользователя, а затем объединять их в одну строку с четким финальным поворотом для продолжения модели:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

Завершение на Assistant: сигнализирует, где модели нужно начать писать. Вы построите этот шаблон сейчас; следующий урок использует его, чтобы реально вызвать on-device модель.

Твоя очередь

Напишите build_prompt(system, user), который возвращает одну строку в таком формате: System: <system>, затем новая строка, User: <user>, новая строка, затем Assistant: без ничего после него. Затем установите prompt = build_prompt("You are concise.", "Summarize my week.").

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.