Silabus Pelajaran 139 dari 246 · Modul 12: Kata sebagai angka (embeddings)
Modul 12: Kata sebagai angka (embeddings)

Vektor menyalin datanya, termasuk skews.

Kenapa ini penting Embeddings mempelajari pola apa pun yang ada di dalam teks, termasuk yang tidak diinginkan siapa pun. Vektor kata yang dilatih pada berita asli membuat beberapa pekerjaan lebih dekat ke "she" dan yang lainnya lebih dekat ke "he". Kamu bisa mengukurnya, dan kamu harus melakukannya.

Buat arah gender dari pasangan yang hanya berbeda di gender: queen dikurangi king, woman dikurangi man, princess dikurangi prince, girl dikurangi boy, dijumlahkan dan diskalakan ke panjang 1. Posisi sebuah kata di sepanjang arah tersebut adalah vektor (satuan) kata tersebut didot dengan arah: positif condong ke "she", negatif condong ke "he".

Dunia mainan bisa menambah skew: dengan skew 0.4, kalimat perawat menyebut "she" 90% dari waktu dan kalimat insinyur menyebut "he" 90% dari waktu. Dokter dan guru tetap 50:50. Tidak ada yang lain berubah.

Menghapusnya, dan jebakannya

Kamu bisa mengurangi komponen setiap pekerjaan sepanjang arah tersebut, yang mengatur posisinya tepat ke 0. Di dunia mainan yang bekerja hampir sepenuhnya ini: diukur setelah penghapusan, nurse dan engineer duduk hampir sama dekat dengan "she" dan "he" (cosines 0.114 dan 0.118 di kedua sisi). Itu karena di sini skew ada di satu kata, kata ganti. Pada vektor kata yang dilatih pada teks asli, peneliti menemukan hal yang sebaliknya: skew tersebar di ribuan kata yang satu arah tidak bisa menangkap, jadi setelah penghapusan tetangga sebuah pekerjaan masih mengungkapkannya. Jadi pembacaan penggaris yang bersih bukan bukti bahwa skew sudah hilang, dan perbaikan jujur dimulai dengan data.

Kata dan simbol di pelajaran ini
embedding
baris angka yang dipelajari yang mewakili satu simbol
window
berapa banyak kata di setiap sisi yang dihitung sebagai teman kata
PPMI
seberapa sering dua kata bertemu dibandingkan dengan peluangnya, dengan nilai negatif diatur ke 0
toy dunia
teks buatan dengan struktur yang ditanam, jadi jawaban yang benar sudah diketahui
skew
a pola tidak seimbang dalam data yang vektor salin
Giliranku

Tulis gender_direction(X) dan position(X, word, g). Keduanya bekerja pada unit vector: bagi vector setiap kata dengan panjangnya dulu, lalu ambil empat selisihnya (queen dikurangi king, woman dikurangi man, princess dikurangi prince, girl dikurangi boy), jumlahkan mereka dan skala jumlahnya ke panjang 1. Sebuah posisi adalah unit vector kata yang didot dengan g. Isi pos: skew (0.0 dan 0.4) ke sebuah dict dari posisi empat pekerjaan, menggunakan count vectors dengan seluruh kalimat sebagai window. Lalu tulis remove(x, g) yang mengambil komponen sepanjang g.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.