Уберите шаг: сортировка, которая никому не была нужна
Почему это важно Конвейеры растут наслоением. Каждый этап имел смысл для того, кто его добавил. Когда конвейер ломается, рефлекс - сделать этапы сильнее, а не спросить, какие из них должны там быть.
Ночная задача превращает выгрузку заказов в выручку по клиентам для финансовой команды. У неё три этапа, показанные в стартовом коде: загрузить заказы, отсортировать их по клиенту, затем подсчитать итог каждой группы. Два года это работало. Выгрузка выросла, и теперь задача умирает с ошибкой нехватки памяти.
Выгрузка приходит потоком: вы получаете по одному заказу, и выгрузка никогда не находится в памяти целиком, если только ваш код её туда не положит. У каждого заказа есть .order_id, .customer и .cents (отрицательные для возврата).
Очевидные исправления что-то добавляют: обработчик побольше, внешнюю сортировку, базу данных. Сначала посмотрите, что каждый этап даёт следующему.
Исправьте revenue_by_customer(orders). orders - итератор объектов заказов (прочитайте его один раз). Верните список пар (customer, total_cents), отсортированный по клиенту. Правило памяти: в любой момент в памяти может быть не больше 1 000 заказов; в тестовой выгрузке 50 000 заказов от 800 клиентов. Хранить итоги по клиентам можно.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.