课程大纲 第 129 课,共 156 课 · 跟踪人,而不是设备
跟踪人,而不是设备

写作风格指纹

为什么重要 人们写下“匿名”的评论、帖子和爆料,以为没有人能看出是谁写的。但你的写作有着和你的打字节奏一样个人化的习惯。了解风格是怎样被匹配的,能帮你判断一段匿名文字什么时候是真的匿名,以及如果这很重要,该改变些什么。

小词会出卖你

如果你想猜一封信是谁写的,你可能会去找那些大而不寻常的词。研究者发现,恰恰相反的做法效果更好:看那些小词。像“upon”“by”“also”和“there”这样的词,会出现在每一个话题的每一段文字里,而每位写作者都会在不知不觉中以自己稳定的频率使用它们。

文体计量学(stylometry):用数字来衡量写作风格,比如某人使用某些词的频率、他们的句子有多长,或者他们偏爱哪些标点。

功能词:把句子连在一起的小而常见的词(“upon”“by”“on”“while”),而不是承载话题的词(“tent”“budget”“army”)。因为它们不取决于主题,它们的频率反映的是写作者。

经典案例

在 1787 年和 1788 年,85 篇名为《联邦党人文集》的文章以同一个共用的笔名发表。后来人们知道其中大部分出自 Alexander Hamilton 或 James Madison 之手,但两人各自的清单都声称有十二篇是自己写的。在 1960 年代,两位统计学家 Frederick Mosteller 和 David Wallace 统计了功能词。一条惊人的线索是:Hamilton 写“upon”远比 Madison 多,而在 Hamilton 写“while”的地方,Madison 写的是“whilst”。他们的结论是,Madison 很可能写了全部十二篇有争议的文章。

我们的练习文章

真实的文章属于公有领域,但这个实验使用的是来自 practice_papers() 的生成的练习文章,这样它能快速、离线地运行。每一篇都是按照一位作者的习惯拼凑出来的词语沙拉:频率是编造的,而“upon”以及“while”/“whilst”的倾向和那项历史研究一致。同样的代码也适用于真实的文本。每篇文章都是一个字典:{"id": "H03", "author": "Hamilton", "text": "..."},而有争议的那些以真实的争议编号命名,比如 D49。

每 1,000 个词的频率

一篇长文章自然会比一篇短文章包含更多的每一个词,所以原始的计数是不公平的。改为计算一个频率:每 1,000 个词中出现多少次。

text_words = ["upon", "the", "law", "upon"]     # 4 words, 2 of them "upon"
rate = 1000 * text_words.count("upon") / len(text_words)   # 500.0

Python 的 .count(x) 会统计 x 在一个列表中出现了多少次。先清理文本:text.lower() 把它变成小写,.replace(",", " ") 把逗号换成空格,.split() 再在空格处把它切成单词。

然后方法和处理打字者时一样:把每位作者的频率平均成一份画像,并把每篇有争议的文章归给画像离它最近的那位作者。

用其他语言实现

用 JavaScript 计算单词频率:

function wordRates(text, words) {
  const all = text.toLowerCase().replace(/[,.]/g, " ").split(/\s+/).filter(Boolean);
  const rates = {};
  for (const w of words) {
    rates[w] = 1000 * all.filter(x => x === w).length / all.length;
  }
  return rates;
}

以及用 Go:

func wordRates(text string, words []string) map[string]float64 {
    clean := strings.NewReplacer(",", " ", ".", " ").Replace(strings.ToLower(text))
    all := strings.Fields(clean)
    counts := map[string]int{}
    for _, w := range all {
        counts[w]++
    }
    rates := map[string]float64{}
    for _, w := range words {
        rates[w] = 1000 * float64(counts[w]) / float64(len(all))
    }
    return rates
}

防御

如果你有一天需要写一些真正匿名的东西(一份举报线索、一条对你自己雇主的评价),风格匹配就是你要提前防范的风险。实用的步骤:写得短一点,因为短文本携带的线索更少;有意用一种和你平时不同的朴素风格来写;避开你惯用的短语和拼写。把你的文字通过翻译工具翻过去再翻回来,或者请一个设备端的写作助手改写它,也能打乱许多习惯。这些都不完美,所以最安全的匿名文字,是其中你自己的成分最少的那一段。

回顾

  • 无论话题是什么,功能词都以稳定的、个人化的频率被使用。
  • 要比较每 1,000 个词的频率,而不是原始的计数,这样长文本和短文本才公平。
  • 《联邦党人文集》的案例用这些频率把十二篇有争议的文章归给了 Madison。
  • 简短、朴素、经过改写的文字留下的风格线索更少。
轮到你了

编写五个函数。words_of(text) 返回 text 中转成小写的单词,其中逗号和句号都被替换成空格(使用 .split())。word_rates(text, words) 返回一个字典,把 words 中的每个词映射到它在 text 中每 1,000 个词出现的次数。author_profile(papers, author, words) 返回一个字典,包含在所有 "author" 等于 author 的文章上每个词的平均频率。style_distance(rates_a, rates_b, words) 返回在 words 上 abs(rates_a[w] - rates_b[w]) 的总和。attribute(text, profiles, words) 返回 profiles 中画像与这段文本的频率最接近的那个键(一位作者的名字)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。