Программа курса Урок 56 из 148 · Скорость без кэша
Скорость без кэша

Обрабатывайте потоком

Почему это важно Логи, метрики и выгрузки часто слишком велики, чтобы держать их целиком. Привычное "загрузить, затем работать со списком" ломается в тот день, когда файл перерастает машину. Текущая сводка - никогда.

Шлюз пишет одну запись на запрос: (request_id, status, ms). Каждый час небольшая задача читает лог за час, который приходит как поток, читаемый один раз, и отправляет сводку в канал команды: сколько запросов, сколько ошибок, средняя и наибольшая длительность и пять самых медленных запросов, чтобы кто-нибудь на них посмотрел.

Поток: данные, которые вы видите по одному элементу за раз, по порядку, и не можете перемотать.

Твоя очередь

Напишите summarise(tape). tape - это Tape записей (request_id, status, ms) (все целые числа). Верните dict с: count; errors (статус 500 и выше); mean_ms; max_ms (оба 0 для пустого лога); и slowest - списком до пяти пар (ms, request_id), самые долгие первыми, при равной длительности первым меньший id. Бюджеты: прочитать ленту один раз (30 000 чтений для 30 000 запросов) и использовать не больше 16 000 байт рабочей памяти, пока работает функция (измеряется через tracemalloc; хранить или сортировать все запросы - намного больше).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.