Программа курса Урок 164 из 250 · Оценка RAG и Retrieval
Оценка RAG и Retrieval

Итоговый проект: Отчет по оценке поиска (Retrieval Eval Report)

У вас есть четыре метрики. Теперь внедрите их в то, что инженер реально поставляет: отчет по оценке извлечения, который прогоняет размеченный набор запросов через retriever и выдает карточку оценок. Это тот самый результат, который стоит за строчкой в резюме «создал и оценил RAG pipeline», и именно он позволяет сказать «новый retriever поднял MRR с 0.62 до 1.0» вместо «оно кажется лучше».

У системы есть три движущиеся части. eval set - это список случаев, каждый из которых является словарем как {"query": "refund policy", "relevant": {"d_refund"}}. retriever - это любой callable retriever(query, k), который возвращает ранжированный список doc IDs (вы передаете его, поэтому один и тот же report может оценивать BM25 baseline, dense retriever или hybrid). И report оценивает каждый query по всем четырем метрикам, а затем агрегирует их.

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

Для NDCG по извлеченным ID превратите ранжирование в оценку релевантности простым способом: документ получает 1, если он в наборе релевантных, иначе 0. Используйте функции, которые вы создали: precision_at_k, recall_at_k, reciprocal_rank, dcg и ndcg_at_k.

Что строить. evaluate_retrieval(eval_set, retriever, k) возвращающий словарь с:

  • mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k -> среднее значение каждой метрики по запросам, каждое rounded до 4 знаков.
  • per_query -> pandas.DataFrame, одна строка на запрос, содержащая метрики этого запроса (чтобы вы могли увидеть, какой запрос провалился).
  • failures -> список запросов, чья обратная позиция была 0.0 (retriever не выдал ничего релевантного). Это ваш список задач для отладки.

Грейдер проверяет общие числа против вычисленных вручную значений, подтверждает, что список ошибок называет не охваченный запрос, и доказывает, что лучший ретривер получает строго более высокий балл -> реляционная проверка, которую не может подделать константа. В полной системе модель теперь отвечала бы на основе чанков, которые вернул победный ретривер, но этот шаг генерации это вторая половина пайплайна; здесь вы оцениваете ретривал самостоятельно. Нажмите Run, чтобы вывести карточку результатов.

Твоя очередь

Напишите evaluate_retrieval(eval_set, retriever, k). eval_set это список словарей {"query", "relevant"}; retriever(query, k) возвращает ранжированный список doc IDs. Для каждого запроса оцените precision_at_k, recall_at_k, reciprocal_rank и ndcg_at_k (считайте извлеченный doc релевантным как 1, если он в релевантном наборе, иначе 0, и строй идеальный из всего релевантного набора: по одной 1 на каждый релевантный документ). Верните словарь с mean_precision_at_k, mean_recall_at_k, mrr, mean_ndcg_at_k (каждый округлите до 4 знаков), per_query pandas DataFrame (одна строка на запрос) и failures список каждого запроса, чей reciprocal rank был 0.0.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.