课程大纲 第 56 课,共 148 课 · 不用缓存的速度
不用缓存的速度

流式处理

为什么重要 日志、指标和导出数据常常大到无法保存。默认的“加载它,然后处理这个列表”会在文件比机器还大的那一天失效。一个累计的摘要则永远不会。

一个网关为每个请求写一条记录:(request_id, status, ms)。每个小时,一个小任务会读取这个小时的日志,它以一个你只能读一次的流的形式到达,然后向团队的频道发一份摘要:有多少个请求、有多少个错误、平均和最长的耗时,以及最慢的五个请求,好让有人去看一看。

流:你一次只能看到一项、按顺序、并且不能倒回去的数据。

轮到你了

编写 summarise(tape)。tape 是一个由 (request_id, status, ms) 记录(都是整数)组成的 Tape。返回一个字典,包含:count;errors(状态码为 500 或以上);mean_ms;max_ms(对于空日志两者都为 0);以及 slowest,一个最多五个 (ms, request_id) 对的列表,最长的在前,耗时相同时 ID 较小的在前。预算:只读一遍 tape(30,000 个请求就是 30,000 次读取),并且在你的函数运行时最多使用 16,000 字节的工作内存(用 tracemalloc 测量;保存或排序所有请求都远远超出)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。