Программа курса Урок 117 из 148 · Изобретайте свои инструменты
Изобретайте свои инструменты

Кластеризатор логов

Почему это важно Пятьсот строк ошибок нечитаемы. Десять шаблонов со счётчиками - это список дел. Превращение одного в другое - инструмент, которым вы будете пользоваться при каждом инциденте.

Строки логов создаются несколькими сотнями вызовов log.info(...) с подставленными значениями. Строки от одного вызова отличаются только этими значениями. Если заменить каждое значение заполнителем, строки от одного вызова станут одинаковыми, и группировка - это словарь.

INFO request handled in 12ms status=200      ->  INFO request handled in <NUM>ms status=<NUM>
INFO request handled in 340ms status=204     ->  (the same)

Трудная часть - знать, как выглядит значение. В сервисах этой команды значения такие: числа (целые или с десятичной точкой, иногда с единицей вроде ms или s), шестнадцатеричные id из 8 или более символов, UUID, адреса IPv4 (иногда с :port) и всё в двойных кавычках (значения в кавычках могут содержать пробелы и цифры). Слова вокруг них заданы кодом.

Твоя очередь

Напишите cluster(lines). Верните dict, который сопоставляет строку шаблона со списком индексов строк с этим шаблоном. Две строки должны иметь общий шаблон ровно тогда, когда они одинаковы после замены каждого значения (пяти видов, перечисленных выше) заполнителем. Саму строку шаблона выбираете вы. Ловушка, которую нужно обойти: тесты используют 500 строк от двух сервисов, со всеми видами значений, и два шаблона, которые отличаются одним фиксированным словом.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.