임베딩은 찾아보기이고, 찾아보기는 곱셈이에요
왜 중요한가 신경망은 산술만 하지만, 텍스트는 기호로 되어 있어요. 모든 언어 모델은 각 기호를 짧은 숫자 리스트, 그 임베딩으로 바꾸면서 시작해요.
모든 기호에 0부터 V 빼기 1까지의 번호(id)를 주세요. 임베딩 표 E는 기호마다 행이 하나이고, 각각 숫자 d개예요. id를 숫자로 바꾸는 건 그냥 그 행을 읽는 거예요: E[id].
왜 그래도 층인지
id를 원-핫 벡터로 쓰세요: id 위치에만 1이 하나 있는 V개의 0. 그러면 원-핫 곱하기 E가 정확히 그 행을 골라내요. 그러니 임베딩은 입력이 마침 원-핫인 선형 층이에요. 대신 찾아보기를 하는 건 0을 곱하는 V 곱하기 d번의 곱셈을 건너뛰기 때문이에요.
그건 어떻게 훈련되는지도 알려 줘요: 기울기는 쓰인 행에만 닿아요. 배치에 한 번도 나오지 않은 기호는 행이 바뀌지 않아요.
작은 숫자
V = 3, d = 2, E = [[1, 2], [3, 4], [5, 6]]. id 1을 원-핫으로 쓰면 [0, 1, 0]이고, [0, 1, 0] 곱하기 E = [3, 4], E[1]과 같아요.
이 레슨의 단어와 기호
- 임베딩
- 기호 하나를 나타내는 학습된 숫자 행
- 원-핫
- 1이 하나 있는 V개의 0. 표를 곱하면 행 하나를 골라요
모양 (len(ids), V)인 배열을 반환하는 onehot(ids, V)를 쓰세요. 그다음 rows_with_gradient를 보여 준 역방향 단계 뒤에 0이 아닌 기울기를 받는 임베딩 표의 행 수로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.