Программа курса Урок 113 из 250 · Интуиция нейросетей, LLM и ИИ Капстоун
Интуиция нейросетей, LLM и ИИ Капстоун

Итоговый проект ИИ: ваш код управляет локальной LLM

Это финальный проект, и вы здесь архитектор. Весь курс вел к одной идее: ваш Python управляет моделью. LLM это просто один компонент, который вы вызываете. Ваш код решает, какие данные она видит, как формируется запрос и что происходит, когда модель не загружена. Вы построите эту оркестрацию из почти пустого файла.

Каждая реальная функция ИИ это один и тот же цикл. Ваш код делает надежную работу, модель делает формулировки:

  • Вычисляйте факты в pandas. Код точен в арифметике; модель нет. Поэтому количество строк, итог, среднее значение и лучшая категория приходят из DataFrame, а не из LLM. Это единственный способ избежать галлюцинаций в числах.
  • Сформулируйте запрос сами. Повторно используемый шаблон промпта отделяет системную инструкцию (кем должна быть модель) от сообщения пользователя (что она должна сделать), а затем объединяет их в одну строку, которая заканчивается маркером хода, чтобы модель знала, где начинать писать.
  • Всегда имейте офлайн путь. Модель на устройстве требует WebGPU и является недетерминированной, поэтому вы также пишете генератор на основе правил, который превращает те же факты в предложение. Функция работает даже без какой-либо модели.

Что вы построите

Две функции, написанные с нуля. build_prompt(system, user) возвращает одну чистую строку, которая содержит обе части и заканчивается на Assistant:. insight(df) вычисляет статистику по встроенной таблице расходов и возвращает строку на обычном английском языке, которая называет вашу самую большую категорию и общую сумму. Маленькая вспомогательная функция spend_stats(df) делает работу с pandas, чтобы и отчет, и инсайт читались из одних и тех же чисел.

Шаг ИИ (попробуйте в приложении)

Floati запускает свою модель client-side с помощью WebLLM на WebGPU -> нет аккаунта, нет ключа, нет облака, ваши промпты никогда не покидают машину. Приложение подключает один общий движок к window._floatiTutor. Как только вы построите build_prompt, это будет настоящий вызов (он находится вне грейдера, потому что ему нужна GPU и он недетерминированный):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

Обратите внимание, что модель видит только строку report, которую создал ваш Python -> числа уже верны до того, как модель что-то говорит. Нажмите Run, чтобы увидеть, как ваш офлайн-конвейер выводит статистику и инсайт на основе правил; этот печатный отчет это именно то, что вы бы передали модели выше. Градиер проверяет форму вашего промпта и ваш детерминированный insight, но никогда не проверяет вывод модели.

Твоя очередь

Создайте оркестрацию. DataFrame расходов df уже встроен для вас (10 строк, колонки category и amount). Напишите три вещи: (1) spend_stats(df) -> словарь с ключами rows, total, average, top_category, top_amount (итоговые значения/средние значения округлены до 2 знаков, лучшая категория по сумме); (2) build_prompt(system, user) -> одна строка, которая содержит и system, и user, и ends на Assistant:, чтобы модель продолжила оттуда; (3) insight(df) -> непустая строка на обычном английском (запасной вариант на основе правил), которая называет лучшую категорию и показывает TOTAL: <amount> с деньгами до 2 знаков. Затем установите report = insight(df) и print(report).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.