Программа курса Урок 129 из 156 · Отслеживание человека, а не устройства
Отслеживание человека, а не устройства

Отпечатки стиля письма

Почему это важно Люди пишут "анонимные" отзывы, посты и наводки, веря, что никто не узнает автора. Но у вашего письма есть привычки, такие же личные, как ритм набора. Зная, как сопоставляется стиль, вы сможете судить, когда анонимный текст действительно анонимен и что изменить, если это важно.

Маленькие слова вас выдают

Если бы вы хотели угадать автора письма, вы могли бы искать большие необычные слова. Исследователи обнаружили, что лучше работает обратное: крошечные слова. Слова вроде "upon", "by", "also" и "there" встречаются в любом тексте на любую тему, и каждый пишущий использует их со своей постоянной частотой, сам того не замечая.

Стилометрия: измерение стиля письма числами, например насколько часто человек использует определённые слова, какой длины его предложения или какую пунктуацию он предпочитает.

Служебные слова: маленькие частые слова, которые скрепляют предложения ("upon", "by", "on", "while"), а не несут тему ("tent", "budget", "army"). Поскольку они не зависят от предмета, их частоты отражают пишущего.

Классический случай

В 1787 и 1788 годах под одним общим псевдонимом были опубликованы 85 эссе, известных как "Записки федералиста". Позже стало известно, что большинство написали Александр Гамильтон или Джеймс Мэдисон, но в списках обоих значились одни и те же двенадцать статей. В 1960-х годах два статистика, Фредерик Мостеллер и Дэвид Уоллес, подсчитали служебные слова. Одна поразительная подсказка: Гамильтон писал "upon" гораздо чаще, чем Мэдисон, а Мэдисон писал "whilst" там, где Гамильтон писал "while". Их вывод: все двенадцать спорных статей очень вероятно написал Мэдисон.

Наши учебные статьи

Настоящие статьи находятся в общественном достоянии, но эта лаборатория использует сгенерированные учебные статьи из practice_papers(), чтобы работать быстро и офлайн. Каждая - словесный винегрет, построенный с привычками автора: частоты придуманы, а "upon" и "while"/"whilst" указывают в ту же сторону, что и в историческом исследовании. Тот же код работал бы и на настоящих текстах. Каждая статья - словарь: {"id": "H03", "author": "Hamilton", "text": "..."}, а спорные названы по настоящим спорным номерам, например D49.

Частоты на 1000 слов

В длинной статье естественно больше каждого слова, чем в короткой, поэтому сырые подсчёты несправедливы. Вместо этого вычислите частоту: сколько раз на 1000 слов.

text_words = ["upon", "the", "law", "upon"]     # 4 words, 2 of them "upon"
rate = 1000 * text_words.count("upon") / len(text_words)   # 500.0

.count(x) в Python считает, сколько раз x встречается в списке. Сначала почистите текст: text.lower() переводит его в нижний регистр, .replace(",", " ") заменяет запятые пробелами, а .split() режет его на слова по пробелам.

Дальше метод тот же, что для наборщиков: усредните частоты каждого автора в профиль и отдайте каждую спорную статью автору, чей профиль ближе всего.

На других языках

Частоты слов на JavaScript:

function wordRates(text, words) {
  const all = text.toLowerCase().replace(/[,.]/g, " ").split(/\s+/).filter(Boolean);
  const rates = {};
  for (const w of words) {
    rates[w] = 1000 * all.filter(x => x === w).length / all.length;
  }
  return rates;
}

И на Go:

func wordRates(text string, words []string) map[string]float64 {
    clean := strings.NewReplacer(",", " ", ".", " ").Replace(strings.ToLower(text))
    all := strings.Fields(clean)
    counts := map[string]int{}
    for _, w := range all {
        counts[w]++
    }
    rates := map[string]float64{}
    for _, w := range words {
        rates[w] = 1000 * float64(counts[w]) / float64(len(all))
    }
    return rates
}

Защита

Если вам когда-нибудь нужно написать что-то по-настоящему анонимное (сообщение информатора, отзыв о собственном работодателе), сопоставление стиля - риск, который нужно учесть. Практические шаги: пишите коротко, потому что в коротких текстах меньше подсказок; пишите нарочито простым стилем, непохожим на ваш обычный; избегайте любимых оборотов и написаний. Прогон текста через переводчик туда и обратно или просьба к помощнику для письма на устройстве перефразировать его тоже перемешивают многие привычки. Ни одно из этого не идеально, поэтому самый безопасный анонимный текст - тот, в котором меньше всего вас.

Итоги

  • Служебные слова используются с постоянной личной частотой, какой бы ни была тема.
  • Сравнивайте частоты на 1000 слов, а не сырые подсчёты, чтобы длинные и короткие тексты были в равных условиях.
  • В случае "Записок федералиста" эти частоты позволили приписать двенадцать спорных эссе Мэдисону.
  • Короткое, простое, перефразированное письмо оставляет меньше подсказок стиля.
Твоя очередь

Напишите пять функций. words_of(text) возвращает слова text в нижнем регистре, заменив запятые и точки пробелами (используйте .split()). word_rates(text, words) возвращает словарь, сопоставляющий каждому слову из words его число на 1000 слов text. author_profile(papers, author, words) возвращает словарь средней частоты каждого слова по всем статьям, у которых "author" равен author. style_distance(rates_a, rates_b, words) возвращает сумму abs(rates_a[w] - rates_b[w]) по words. attribute(text, profiles, words) возвращает ключ profiles (имя автора), чей профиль ближе всего к частотам текста.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.