课程大纲 第 117 课,共 148 课 · 发明你的工具
发明你的工具

一个日志聚类器

为什么重要 五百行错误是没法读的。十个带有计数的模式就是一份待办清单。把前者变成后者,是一个你每次出事故都会用到的工具。

日志行是由几百个填入了值的 log.info(...) 调用产生的。来自同一个调用的行,只在这些值上有所不同。如果你把每个值都换成一个占位符,来自同一个调用的行就会变得完全相同,而分组就只是一个字典。

INFO request handled in 12ms status=200      ->  INFO request handled in <NUM>ms status=<NUM>
INFO request handled in 340ms status=204     ->  (the same)

难的是知道一个值长什么样。在这个团队的服务里,值包括:数字(整数或带小数点的数,有时后面跟着一个像 ms 或 s 这样的单位)、8 个或更多字符的十六进制 ID、UUID、IPv4 地址(有时带有 :port),以及双引号中的任何东西(被引号括起来的值可能包含空格和数字)。它们周围的词是由代码固定写死的。

轮到你了

编写 cluster(lines)。返回一个字典,把一个模式字符串映射到具有该模式的行的索引列表。当且仅当两行在每一个值(上面列出的五种)都被替换成占位符之后相同时,它们才必须共享一个模式。模式字符串本身由你来选择。要战胜的陷阱:测试使用来自两个服务的 500 行,包含每一种值,以及两个只相差一个固定词的模式。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。