Vektor menyalin datanya, termasuk skews.
Kenapa ini penting Embeddings mempelajari pola apa pun yang ada di dalam teks, termasuk yang tidak diinginkan siapa pun. Vektor kata yang dilatih pada berita asli membuat beberapa pekerjaan lebih dekat ke "she" dan yang lainnya lebih dekat ke "he". Kamu bisa mengukurnya, dan kamu harus melakukannya.
Buat arah gender dari pasangan yang hanya berbeda di gender: queen dikurangi king, woman dikurangi man, princess dikurangi prince, girl dikurangi boy, dijumlahkan dan diskalakan ke panjang 1. Posisi sebuah kata di sepanjang arah tersebut adalah vektor (satuan) kata tersebut didot dengan arah: positif condong ke "she", negatif condong ke "he".
Dunia mainan bisa menambah skew: dengan skew 0.4, kalimat perawat menyebut "she" 90% dari waktu dan kalimat insinyur menyebut "he" 90% dari waktu. Dokter dan guru tetap 50:50. Tidak ada yang lain berubah.
Menghapusnya, dan jebakannya
Kamu bisa mengurangi komponen setiap pekerjaan sepanjang arah tersebut, yang mengatur posisinya tepat ke 0. Di dunia mainan yang bekerja hampir sepenuhnya ini: diukur setelah penghapusan, nurse dan engineer duduk hampir sama dekat dengan "she" dan "he" (cosines 0.114 dan 0.118 di kedua sisi). Itu karena di sini skew ada di satu kata, kata ganti. Pada vektor kata yang dilatih pada teks asli, peneliti menemukan hal yang sebaliknya: skew tersebar di ribuan kata yang satu arah tidak bisa menangkap, jadi setelah penghapusan tetangga sebuah pekerjaan masih mengungkapkannya. Jadi pembacaan penggaris yang bersih bukan bukti bahwa skew sudah hilang, dan perbaikan jujur dimulai dengan data.
Kata dan simbol di pelajaran ini
- embedding
- baris angka yang dipelajari yang mewakili satu simbol
- window
- berapa banyak kata di setiap sisi yang dihitung sebagai teman kata
- PPMI
- seberapa sering dua kata bertemu dibandingkan dengan peluangnya, dengan nilai negatif diatur ke 0
- toy dunia
- teks buatan dengan struktur yang ditanam, jadi jawaban yang benar sudah diketahui
- skew
- a pola tidak seimbang dalam data yang vektor salin
Tulis gender_direction(X) dan position(X, word, g). Keduanya bekerja pada unit vector: bagi vector setiap kata dengan panjangnya dulu, lalu ambil empat selisihnya (queen dikurangi king, woman dikurangi man, princess dikurangi prince, girl dikurangi boy), jumlahkan mereka dan skala jumlahnya ke panjang 1. Sebuah posisi adalah unit vector kata yang didot dengan g. Isi pos: skew (0.0 dan 0.4) ke sebuah dict dari posisi empat pekerjaan, menggunakan count vectors dengan seluruh kalimat sebagai window. Lalu tulis remove(x, g) yang mengambil komponen sepanjang g.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.