강의 계획 레슨 246개 중 137번째 · 모듈 12: 숫자로서의 단어(임베딩)
모듈 12: 숫자로서의 단어(임베딩)

단어가 어울리는 동반자에서 나오는 뜻

왜 중요한가 "단어는 그것이 어울리는 동반자로 알 수 있다." 어떤 단어가 어떤 단어 근처에 나오는지 세면, 그 개수만으로 king을 queen 근처에 두고 king 빼기 man 더하기 woman 같은 산술을 하게 해 줘요.

이걸 정직하게 시험하려면 맞는 답을 알아야 해서, 이 레슨은 구조를 심어 둔 지어낸 작은 세계를 써요: 모든 사람은 왕족이거나 평민, he거나 she, 어른이거나 어리고, 그 각각이 같은 문장의 다른 단어로 나타나요("the queen rules in the palace and she reads"). 진짜 텍스트는 훨씬 지저분하지만, 원리는 같아요.

개수에서 벡터로

모든 단어 쌍에 대해, 서로 w 단어의 창 안에 얼마나 자주 나오는지 세세요. 각 단어의 개수 행이 그 벡터예요. 도우미가 날 개수를 "우연보다 얼마나 더 자주"(PPMI)로 바꿔서, "the"가 모든 걸 지배하지 않게 해요.

유추 a : b = c : ?는 b 빼기 a 더하기 c에 가장 가까운 단어로 답해요. 이 세계에는 그런 질문이 72개 있어요.

예측하세요: 창이 2단어일 때, 그리고 창이 9단어 문장 전체를 덮을 때, 몇 퍼센트가 맞을까요?

이 레슨의 단어와 기호
창
양쪽으로 몇 단어가 한 단어의 동반자로 치는지
PPMI
두 단어가 우연이 줄 것보다 얼마나 더 자주 만나는지, 음수는 0으로
내 차례

my_guess를 자기 예측 둘로 설정하세요. cooccurrence(sents, win)을 쓰세요: 같은 문장에서 win 위치 안에 있는 다른 모든 단어에 대해 [word, other]에 1을 더한 개수의 V × V 배열. 그다음 창 2와 8에 대해 score(ppmi(...))로 acc를 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.