강의 계획 레슨 246개 중 139번째 · 모듈 12: 숫자로서의 단어(임베딩)
모듈 12: 숫자로서의 단어(임베딩)

벡터는 치우침까지 포함해 데이터를 베껴요

왜 중요한가 임베딩은 텍스트에 담긴 어떤 패턴이든 배우고, 아무도 원하지 않는 것도 포함돼요. 진짜 뉴스로 훈련한 단어 벡터는 어떤 직업은 "she"에, 다른 직업은 "he"에 더 가깝게 둬요. 그걸 잴 수 있고, 재야 해요.

성별만 다른 쌍으로 성별 방향을 만드세요: queen 빼기 king, woman 빼기 man, princess 빼기 prince, girl 빼기 boy, 그걸 더하고 길이 1로 맞춰요. 단어의 그 방향 위 위치는 그 (단위) 벡터와 방향의 내적이에요: 양수면 "she" 쪽, 음수면 "he" 쪽.

장난감 세계에 치우침을 더할 수 있어요: 치우침 0.4면 nurse 문장은 90%의 경우 "she"라고 하고 engineer 문장은 90%의 경우 "he"라고 해요. doctor와 teacher는 50:50으로 남아요. 그 밖엔 아무것도 바뀌지 않아요.

없애기, 그리고 함정

각 직업의 방향 성분을 빼서 위치를 정확히 0으로 맞출 수 있어요. 이 장난감 세계에서는 그게 거의 완전히 돼요: 없앤 뒤 재면, nurse와 engineer는 "she"와 "he"에 거의 똑같이 가까이 있어요(어느 쪽이든 코사인 0.114와 0.118). 여기서는 치우침이 단어 하나, 대명사에 살기 때문이에요. 진짜 텍스트로 훈련한 단어 벡터에서 연구자들은 반대를 발견했어요: 치우침이 방향 하나로는 잡을 수 없는 수천 개의 단어에 퍼져 있어서, 없앤 뒤에도 직업의 이웃들이 여전히 그걸 드러내요. 그러니 깨끗한 자 읽기가 치우침이 사라졌다는 증거는 아니고, 정직한 수정은 데이터에서 시작해요.

이 레슨의 단어와 기호
임베딩
기호 하나를 나타내는 학습된 숫자 행
창
양쪽으로 몇 단어가 한 단어의 동반자로 치는지
PPMI
두 단어가 우연이 줄 것보다 얼마나 더 자주 만나는지, 음수는 0으로
장난감 세계
구조를 심어 두어서 맞는 답을 아는 지어낸 텍스트
치우침
벡터가 베끼는 데이터 속의 한쪽으로 기운 패턴
내 차례

gender_direction(X)와 position(X, word, g)를 쓰세요. 둘 다 단위 벡터에서 작동해요: 먼저 각 단어의 벡터를 그 길이로 나누고, 그다음 네 차이(queen 빼기 king, woman 빼기 man, princess 빼기 prince, girl 빼기 boy)를 구해서 더하고 합을 길이 1로 맞추세요. 위치는 단어의 단위 벡터와 g의 내적이에요. 문장 전체를 창으로 한 개수 벡터를 써서 pos를 채우세요: 치우침(0.0과 0.4)에서 네 직업의 위치 딕셔너리로. 그다음 g 방향의 성분을 빼는 remove(x, g)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.