文章の書き方の指紋
なぜ大切か 人は、誰が書いたか誰にもわからないと思って「匿名の」レビュー、投稿、通報を書きます。でも文章には、入力のリズムと同じくらい個人的な癖があります。書き方がどう照合されるかを知れば、匿名のテキストが本当に匿名なのはいつか、そしてそれが大事なら何を変えればよいかを判断する助けになります。
小さな言葉が正体を明かす
手紙を誰が書いたかを推測したいなら、大きく珍しい言葉を探すかもしれません。研究者は、その逆、つまり小さな言葉のほうがうまくいくことを見つけました。「upon」「by」「also」「there」のような言葉は、どの話題のどのテキストにも現れ、書き手はそれぞれ、気づかないまま自分の一定の割合でそれを使います。
計量文体学:例えばある言葉をどれだけよく使うか、文がどれだけ長いか、どの句読点を好むかのように、書き方を数で測ることです。
機能語:話題を運ぶ言葉(「tent」「budget」「army」)ではなく、文をつなぎ合わせる小さくありふれた言葉(「upon」「by」「on」「while」)です。主題によらないので、その割合が書き手を映し出します。
古典的な事例
1787 年と 1788 年、ザ・フェデラリストと呼ばれる 85 の論文が、ひとつの共有の筆名で発表されました。そのほとんどは後に Alexander Hamilton か James Madison のものとわかりましたが、2 人の一覧はどちらも同じ 12 の論文を自分のものとしていました。1960 年代、2 人の統計学者 Frederick Mosteller と David Wallace が機能語を数えました。目を引く手がかりのひとつは、Hamilton が Madison よりはるかに多く「upon」を書き、Hamilton が「while」と書く所で Madison が「whilst」と書いたことです。彼らの結論は、Madison が争われた 12 の論文すべてを書いた可能性がとても高いというものでした。
練習用の論文
本物の論文はパブリックドメインですが、このラボでは、素早くオフラインで動くよう、practice_papers() の 生成した 練習用の論文を使います。どれも著者の癖で作った言葉のサラダで、割合はでっち上げですが、「upon」と「while」/「whilst」は歴史的な研究と同じ向きを指しています。同じコードは本物のテキストでも働きます。各論文は辞書 {"id": "H03", "author": "Hamilton", "text": "..."} で、争われたものは D49 のように、本物の争われた番号にちなんで名付けられています。
1,000 語あたりの割合
長い論文は、短いものより当然どの言葉も多く含むので、そのままの数は不公平です。代わりに 割合、つまり 1,000 語あたり何回かを計算します。
text_words = ["upon", "the", "law", "upon"] # 4 words, 2 of them "upon"
rate = 1000 * text_words.count("upon") / len(text_words) # 500.0
Python の .count(x) は、リストの中に x が何回現れるかを数えます。まずテキストを掃除します。text.lower() で小文字にし、.replace(",", " ") でカンマを空白に替え、.split() で空白で単語に切ります。
それから方法は打ち手のときと同じです。各著者の割合を平均してプロフィールにし、争われた各論文を、プロフィールが最も近い著者に与えます。
ほかの言語では
JavaScript での言葉の割合:
function wordRates(text, words) {
const all = text.toLowerCase().replace(/[,.]/g, " ").split(/\s+/).filter(Boolean);
const rates = {};
for (const w of words) {
rates[w] = 1000 * all.filter(x => x === w).length / all.length;
}
return rates;
}そして Go で:
func wordRates(text string, words []string) map[string]float64 {
clean := strings.NewReplacer(",", " ", ".", " ").Replace(strings.ToLower(text))
all := strings.Fields(clean)
counts := map[string]int{}
for _, w := range all {
counts[w]++
}
rates := map[string]float64{}
for _, w := range words {
rates[w] = 1000 * float64(counts[w]) / float64(len(all))
}
return rates
}防御
本当に匿名のものを書く必要があるなら(内部告発の通報、自分の勤め先のレビュー)、書き方の照合が備えるべき危険です。実際的な手順:短いテキストのほうが手がかりが少ないので短く保つこと、いつもとは違うわざと平易な書き方で書くこと、そしてお気に入りの言い回しや綴りを避けることです。テキストを翻訳の道具に通して戻したり、端末の上の文章のアシスタントに言い換えさせたりしても、多くの癖がかき混ぜられます。どれも完璧ではないので、最も安全な匿名のテキストは、あなたが最も少なく入っているものです。
まとめ
- 機能語は、話題に関係なく、一定で個人的な割合で使われます。
- 長いテキストと短いテキストが公平になるよう、そのままの数ではなく 1,000 語あたりの割合を比べます。
- ザ・フェデラリストの事例は、こうした割合を使って、争われた 12 の論文を Madison のものとしました。
- 短く、平易で、言い換えた文章は、書き方の手がかりを少なく残します。
5 つの関数を書いてください。words_of(text) は、カンマとピリオドを空白に置き換えた text の小文字の単語を返します(.split() を使います)。word_rates(text, words) は、words の各単語を、text の 1,000 語あたりのその数に対応づける辞書を返します。author_profile(papers, author, words) は、"author" が author と等しいすべての論文にわたる、各単語の平均の割合の辞書を返します。style_distance(rates_a, rates_b, words) は、words にわたって abs(rates_a[w] - rates_b[w]) を合計したものを返します。attribute(text, profiles, words) は、プロフィールがテキストの割合に最も近い profiles のキー(著者の名前)を返します。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。