Программа курса Урок 233 из 250 · Проект: Исследовательский агент с использованием инструментов
Проект: Исследовательский агент с использованием инструментов

Оцените Agent Trace

Последняя часть проекта пропускается чаще всего, но она важнее всего в резюме: evaluation. Любой может собрать агента, который работает в демо. Нанимают инженера, который может доказать, что он работает, заметить, когда он молча делает что-то не так, и корректно завершить работу, когда он не может ответить. Вы будете оценивать trace, который создал ваш агент, и добавить fallback на случай, если он сдается.

Итог из урока 2: упорядоченный список (thought, tool, args, observation) кортежей. Чтобы оценить запуск, вы сравниваете то, что агент на самом деле сделал, с тем, что он должен был сделать.

Напишите score_run(trace, expected_tools, expected_answer) возвращающий словарь с тремя полями:

  • "tools_ok": использовал ли агент правильные инструменты в правильном порядке? Извлеките название инструмента из каждого шага и сравните последовательность с expected_tools. Неправильный или отсутствующий инструмент делает это False. Именно так вы ловите агента, который достиг правильного ответа неправильным путем (что сломается на следующем вводе).
  • "answer_ok": произвел ли финальный шаг правильный ответ? Финальный ответ это наблюдение последнего шага. Сравните его с expected_answer. Запуск который никогда не произвел ответ (пустой trace) это answer_ok = False.
  • "steps": сколько шагов занял запуск (len(trace)) -> ваш сигнал стоимости/задержки.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Затем страховочная сетка. answer_or_fallback(trace) работает на живых запросах, где никто не знает правильный ответ, поэтому она не может сравнивать с ним (это делает score_run в офлайне, на вашем тестовом сете). Она доверяет запуску только тогда, когда последний шаг это finish шаг с реальным ответом, иначе она возвращает фиксированную строку "unable to answer": запуск, который достиг лимита шагов, остановился на поиске или завершился на "not found". В продакшене это то, что вы возвращаете пользователю вместо галлюцинации или стека вызовов.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

Грейдер подает правильный запуск (все True), запуск с использованием неверного инструмента (tools_ok это False но ответ все равно может совпасть) и запуск без ответа (answer_ok это False), плюс случайные трассы по сравнению с встроенной ссылкой так что ни один постоянный скор не проскочит. Получите этот зеленый цвет и заголовок напишется сам: построил инструмент использующего ReAct агента с защитой циклов и оценкой трасс. Нажмите Run.

Твоя очередь

Напишите score_run(trace, expected_tools, expected_answer) над следом из (thought, tool, args, observation) кортежей, возвращая {"tools_ok", "answer_ok", "steps"}: tools_ok это совпадает ли последовательность имен инструментов с expected_tools; answer_ok это совпадает ли наблюдение последнего шага с expected_answer (False для пустого следа); steps это len(trace). Затем напишите answer_or_fallback(trace), проверку которую вы запускаете на живом запросе, где нет ожидаемого ответа: возвращайте финальное наблюдение только когда последний шаг это шаг "finish" и его наблюдение не является ни None, ни "not found"; иначе возвращайте строку "unable to answer". (score_run для вашего офлайн тестового набора, где вы знаете ответы; answer_or_fallback для продакшена, где вы не знаете.)

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.