Отпечатки стиля письма
Почему это важно Люди пишут "анонимные" отзывы, посты и наводки, веря, что никто не узнает автора. Но у вашего письма есть привычки, такие же личные, как ритм набора. Зная, как сопоставляется стиль, вы сможете судить, когда анонимный текст действительно анонимен и что изменить, если это важно.
Маленькие слова вас выдают
Если бы вы хотели угадать автора письма, вы могли бы искать большие необычные слова. Исследователи обнаружили, что лучше работает обратное: крошечные слова. Слова вроде "upon", "by", "also" и "there" встречаются в любом тексте на любую тему, и каждый пишущий использует их со своей постоянной частотой, сам того не замечая.
Стилометрия: измерение стиля письма числами, например насколько часто человек использует определённые слова, какой длины его предложения или какую пунктуацию он предпочитает.
Служебные слова: маленькие частые слова, которые скрепляют предложения ("upon", "by", "on", "while"), а не несут тему ("tent", "budget", "army"). Поскольку они не зависят от предмета, их частоты отражают пишущего.
Классический случай
В 1787 и 1788 годах под одним общим псевдонимом были опубликованы 85 эссе, известных как "Записки федералиста". Позже стало известно, что большинство написали Александр Гамильтон или Джеймс Мэдисон, но в списках обоих значились одни и те же двенадцать статей. В 1960-х годах два статистика, Фредерик Мостеллер и Дэвид Уоллес, подсчитали служебные слова. Одна поразительная подсказка: Гамильтон писал "upon" гораздо чаще, чем Мэдисон, а Мэдисон писал "whilst" там, где Гамильтон писал "while". Их вывод: все двенадцать спорных статей очень вероятно написал Мэдисон.
Наши учебные статьи
Настоящие статьи находятся в общественном достоянии, но эта лаборатория использует сгенерированные учебные статьи из practice_papers(), чтобы работать быстро и офлайн. Каждая - словесный винегрет, построенный с привычками автора: частоты придуманы, а "upon" и "while"/"whilst" указывают в ту же сторону, что и в историческом исследовании. Тот же код работал бы и на настоящих текстах. Каждая статья - словарь: {"id": "H03", "author": "Hamilton", "text": "..."}, а спорные названы по настоящим спорным номерам, например D49.
Частоты на 1000 слов
В длинной статье естественно больше каждого слова, чем в короткой, поэтому сырые подсчёты несправедливы. Вместо этого вычислите частоту: сколько раз на 1000 слов.
text_words = ["upon", "the", "law", "upon"] # 4 words, 2 of them "upon"
rate = 1000 * text_words.count("upon") / len(text_words) # 500.0
.count(x) в Python считает, сколько раз x встречается в списке. Сначала почистите текст: text.lower() переводит его в нижний регистр, .replace(",", " ") заменяет запятые пробелами, а .split() режет его на слова по пробелам.
Дальше метод тот же, что для наборщиков: усредните частоты каждого автора в профиль и отдайте каждую спорную статью автору, чей профиль ближе всего.
На других языках
Частоты слов на JavaScript:
function wordRates(text, words) {
const all = text.toLowerCase().replace(/[,.]/g, " ").split(/\s+/).filter(Boolean);
const rates = {};
for (const w of words) {
rates[w] = 1000 * all.filter(x => x === w).length / all.length;
}
return rates;
}И на Go:
func wordRates(text string, words []string) map[string]float64 {
clean := strings.NewReplacer(",", " ", ".", " ").Replace(strings.ToLower(text))
all := strings.Fields(clean)
counts := map[string]int{}
for _, w := range all {
counts[w]++
}
rates := map[string]float64{}
for _, w := range words {
rates[w] = 1000 * float64(counts[w]) / float64(len(all))
}
return rates
}Защита
Если вам когда-нибудь нужно написать что-то по-настоящему анонимное (сообщение информатора, отзыв о собственном работодателе), сопоставление стиля - риск, который нужно учесть. Практические шаги: пишите коротко, потому что в коротких текстах меньше подсказок; пишите нарочито простым стилем, непохожим на ваш обычный; избегайте любимых оборотов и написаний. Прогон текста через переводчик туда и обратно или просьба к помощнику для письма на устройстве перефразировать его тоже перемешивают многие привычки. Ни одно из этого не идеально, поэтому самый безопасный анонимный текст - тот, в котором меньше всего вас.
Итоги
- Служебные слова используются с постоянной личной частотой, какой бы ни была тема.
- Сравнивайте частоты на 1000 слов, а не сырые подсчёты, чтобы длинные и короткие тексты были в равных условиях.
- В случае "Записок федералиста" эти частоты позволили приписать двенадцать спорных эссе Мэдисону.
- Короткое, простое, перефразированное письмо оставляет меньше подсказок стиля.
Напишите пять функций. words_of(text) возвращает слова text в нижнем регистре, заменив запятые и точки пробелами (используйте .split()). word_rates(text, words) возвращает словарь, сопоставляющий каждому слову из words его число на 1000 слов text. author_profile(papers, author, words) возвращает словарь средней частоты каждого слова по всем статьям, у которых "author" равен author. style_distance(rates_a, rates_b, words) возвращает сумму abs(rates_a[w] - rates_b[w]) по words. attribute(text, profiles, words) возвращает ключ profiles (имя автора), чей профиль ближе всего к частотам текста.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.