Dấu vân tay văn phong
Vì sao điều này quan trọng Mọi người viết những bài đánh giá, bài đăng và tin báo "ẩn danh" với niềm tin rằng không ai biết ai đã viết chúng. Nhưng văn của bạn có những thói quen riêng tư y như nhịp gõ phím của bạn. Biết văn phong được so khớp ra sao giúp bạn đánh giá khi nào một văn bản ẩn danh thật sự ẩn danh, và cần thay đổi gì nếu điều đó quan trọng.
Những từ nhỏ tố cáo bạn
Nếu bạn muốn đoán ai đã viết một lá thư, bạn có thể tìm những từ to tát, khác thường. Các nhà nghiên cứu phát hiện điều ngược lại hiệu quả hơn: những từ tí hon. Những từ như "upon", "by", "also" và "there" xuất hiện trong mọi văn bản về mọi chủ đề, và mỗi người viết dùng chúng với một tần suất ổn định của riêng mình mà không để ý.
Phép đo văn phong (stylometry): đo văn phong bằng con số, ví dụ một người dùng những từ nhất định thường xuyên cỡ nào, câu của họ dài bao nhiêu, hay họ ưa chuộng dấu câu nào.
Hư từ (function words): những từ nhỏ, phổ biến giữ các câu lại với nhau ("upon", "by", "on", "while") thay vì mang chủ đề ("tent", "budget", "army"). Vì chúng không phụ thuộc vào chủ đề, tần suất của chúng phản ánh người viết.
Trường hợp kinh điển
Năm 1787 và 1788, 85 tiểu luận gọi là Federalist Papers được xuất bản dưới một bút danh chung. Phần lớn về sau được biết là của Alexander Hamilton hoặc James Madison, nhưng danh sách của cả hai người đều nhận cùng mười hai bài. Vào thập niên 1960 hai nhà thống kê, Frederick Mosteller và David Wallace, đã đếm các hư từ. Một manh mối nổi bật: Hamilton viết "upon" thường xuyên hơn Madison rất nhiều, và Madison viết "whilst" ở chỗ Hamilton viết "while". Kết luận của họ là Madison rất có thể đã viết cả mười hai bài bị tranh chấp.
Các bài luyện tập của chúng ta
Các bài thật thuộc phạm vi công cộng, nhưng bài thực hành này dùng những bài luyện tập được sinh ra từ practice_papers() để nó chạy nhanh và ngoại tuyến. Mỗi bài là một mớ từ hỗn độn được dựng với thói quen của một tác giả: các tần suất là bịa ra, với "upon" và "while"/"whilst" chỉ cùng hướng như trong nghiên cứu lịch sử. Cùng mã đó sẽ chạy được trên các văn bản thật. Mỗi bài là một dict: {"id": "H03", "author": "Hamilton", "text": "..."}, và những bài bị tranh chấp được đặt tên theo số hiệu tranh chấp thật, như D49.
Tần suất trên 1.000 từ
Một bài dài tự nhiên có nhiều từ nào cũng nhiều hơn một bài ngắn, nên số đếm thô là không công bằng. Thay vào đó, hãy tính một tần suất: bao nhiêu lần trên 1.000 từ.
text_words = ["upon", "the", "law", "upon"] # 4 words, 2 of them "upon"
rate = 1000 * text_words.count("upon") / len(text_words) # 500.0.count(x) của Python đếm số lần x xuất hiện trong một list. Trước hết hãy làm sạch văn bản: text.lower() chuyển nó thành chữ thường, .replace(",", " ") đổi dấu phẩy thành dấu cách, và .split() cắt nó thành các từ tại dấu cách.
Rồi phương pháp giống như với những người gõ phím: lấy trung bình tần suất của mỗi tác giả thành một hồ sơ, và giao mỗi bài bị tranh chấp cho tác giả có hồ sơ gần nhất.
Trong các ngôn ngữ khác
Tần suất từ trong JavaScript:
function wordRates(text, words) {
const all = text.toLowerCase().replace(/[,.]/g, " ").split(/\s+/).filter(Boolean);
const rates = {};
for (const w of words) {
rates[w] = 1000 * all.filter(x => x === w).length / all.length;
}
return rates;
}Và trong Go:
func wordRates(text string, words []string) map[string]float64 {
clean := strings.NewReplacer(",", " ", ".", " ").Replace(strings.ToLower(text))
all := strings.Fields(clean)
counts := map[string]int{}
for _, w := range all {
counts[w]++
}
rates := map[string]float64{}
for _, w := range words {
rates[w] = 1000 * float64(counts[w]) / float64(len(all))
}
return rates
}Cách phòng thủ
Nếu bạn từng cần viết một thứ thật sự ẩn danh (một tin báo tố giác, một bài đánh giá về chính chủ lao động của mình), việc so khớp văn phong là rủi ro cần lên kế hoạch. Các bước thực tế: viết ngắn, vì văn bản ngắn mang ít manh mối hơn; viết theo một văn phong cố ý giản dị, không giống văn phong thường ngày của bạn; và tránh những cụm từ và cách viết quen thuộc của bạn. Cho văn bản chạy qua một công cụ dịch rồi dịch ngược lại, hoặc nhờ một trợ lý viết chạy trên thiết bị diễn đạt lại nó, cũng xáo trộn được nhiều thói quen. Không cái nào hoàn hảo, nên văn bản ẩn danh an toàn nhất là văn bản có ít dấu vết của bạn nhất.
Tóm tắt
- Hư từ được dùng với tần suất ổn định, mang tính cá nhân bất kể chủ đề.
- So sánh tần suất trên 1.000 từ, không so số đếm thô, để văn bản dài và ngắn được công bằng.
- Trường hợp Federalist Papers đã dùng những tần suất này để quy mười hai tiểu luận bị tranh chấp cho Madison.
- Văn bản ngắn, giản dị, được diễn đạt lại để lại ít manh mối văn phong hơn.
Viết năm hàm. words_of(text) trả về các từ đã viết thường của text với dấu phẩy và dấu chấm được thay bằng dấu cách (dùng .split()). word_rates(text, words) trả về một dict ánh xạ mỗi từ trong words tới số đếm của nó trên 1.000 từ của text. author_profile(papers, author, words) trả về một dict tần suất trung bình của mỗi từ trên mọi bài có "author" bằng author. style_distance(rates_a, rates_b, words) trả về tổng abs(rates_a[w] - rates_b[w]) trên words. attribute(text, profiles, words) trả về khóa của profiles (một tên tác giả) có hồ sơ gần nhất với tần suất của văn bản.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.