手順を取り除く:誰も必要としなかった並べ替え
なぜ大切か パイプラインは積み重ねで育ちます。どの段階も、加えた人には筋が通っていました。パイプラインが壊れると、反射的に、どの段階があるべきかを問うのではなく、段階を強くしようとします。
夜間のジョブが、経理のチームのために注文の書き出しをお客ごとの売上に変えます。最初のコードに示した 3 つの段階があります。注文を読み込み、お客で並べ替え、それからそれぞれのグループを合計する。2 年間動いていました。書き出しが大きくなり、ジョブは今やメモリ不足のエラーで止まります。
書き出しはストリームとして届きます。注文はひとつずつ受け取り、あなたのコードが入れない限り、書き出しが丸ごとメモリにあることはありません。それぞれの注文は .order_id、.customer、.cents(返金では負)を持ちます。
わかりきった対策は何かを加えます。大きなワーカー、外部ソート、データベース。まず、それぞれの段階が次に何を渡しているかを見てください。
revenue_by_customer(orders) を直してください。orders は注文のオブジェクトのイテレーターです(一度だけ読む)。お客で並べた (customer, total_cents) の組のリストを返します。メモリの規則:どの瞬間にもメモリに持てる注文は最大 1,000 です。テストの書き出しには 800 のお客からの 50,000 の注文があります。お客ごとの合計は持って構いません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。