강의 계획 레슨 246개 중 138번째 · 모듈 12: 숫자로서의 단어(임베딩)
모듈 12: 숫자로서의 단어(임베딩)

단어 벡터 배우기(skip-gram)

왜 중요한가 세기에는 V × V 표가 필요한데, 단어 백만 개에는 불가능해요. Word2vec은 대신 경사 하강법으로 짧은 벡터를 바로 배우고, 같은 생각, 맥락을 예측해서 벡터를 배우는 것이 모든 언어 모델 안에 있어요.

네거티브 샘플링이 있는 skip-gram. 각 단어에는 벡터가 둘 있어요: v(자기 자신으로서)와 u(누군가의 맥락으로서). 진짜 쌍(단어와 그 문장의 단어)에 대해서는 점수 v dot u를 올리고, 무작위 "네거티브" 단어 k개에 대해서는 내리세요:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

연쇄 법칙으로 구한 기울기

p = sigmoid(v . u_pos)이고 q_k = sigmoid(v . u_neg_k)일 때:

  • dL/dv = (p - 1) u_pos + k에 대한 q_k u_neg_k의 합
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

읽어 보세요: 진짜 쌍이 이미 점수가 높으면 p가 1 근처라 거의 아무것도 바뀌지 않아요. 실수가 큰 밀기를 만들어요, 교차 엔트로피와 똑같이요.

None으로 배치 처리하기

배치에서 p는 모양 (B,)이고 u_pos는 모양 (B, d)예요. u_pos의 각 행을 자기 (p - 1)로 크기를 바꾸려면 방향을 하나 더하세요: (p - 1)[:, None] * u_pos, 모양 (B, 1) 곱하기 (B, d). 네거티브에서는 q가 모양 (B, k)이고 v가 모양 (B, d)예요. q[:, :, None] * v[:, None, :]은 그것들을 (B, k, 1) 곱하기 (B, 1, d)로 줄 세워서 (B, k, d)를 줘요: 네거티브마다 크기를 바꾼 v의 사본 하나. (Python 모듈의 모양 레슨이 None을 소개했어요.)

이 레슨의 단어와 기호
PPMI
두 단어가 우연이 줄 것보다 얼마나 더 자주 만나는지, 음수는 0으로
skip-gram, 네거티브 샘플링
진짜 (단어, 맥락) 쌍은 높게, 무작위 쌍은 낮게 점수 매겨서 벡터 배우기
내 차례

배치에 대한 sgns_grads(v, u_pos, u_neg)를 쓰세요: v와 u_pos는 모양 (B, d), u_neg는 모양 (B, k, d)예요. 같은 모양으로 (g_v, g_pos, g_neg)를 반환하세요. 훈련 반복문이 그걸 쓰고, 그다음 유추 72개가 적어도 90% 맞아야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.