강의 계획 레슨 246개 중 135번째 · 모듈 12: 숫자로서의 단어(임베딩)
모듈 12: 숫자로서의 단어(임베딩)

모델이 글자에 대해 배운 것

왜 중요한가 아무도 언어 모델에게 a와 e가 둘 다 모음이라고 알려 주지 않아요. 그래도 임베딩이 둘을 가까이 둔다면, 모델이 텍스트만으로 그걸 발견한 거예요. 데이터로 배운 "뜻"을 처음 엿보는 순간이에요.

두 임베딩을 비교하려면 코사인 유사도를 쓰세요: 내적을 두 길이로 나눈 것. 두 벡터가 같은 쪽을 가리키면 1, 관계없으면(직각) 0, 반대쪽을 가리키면 마이너스 1이에요. 길이를 무시하는데, 길이는 대체로 기호가 얼마나 자주 나오는지를 반영해요.

강좌의 기록된 작은 GPT(모듈 13이 만들어요) 안을 들여다볼 거예요. 그건 이 강좌의 레슨 텍스트만, 한 번에 한 문자씩, 각 문자를 숫자 64개짜리 행으로 읽었어요.

먼저 예측하세요: 문자 쌍의 어느 무리가 평균적으로 가장 비슷할까요: 모음 둘, 모음과 자음, 아니면 숫자 둘?

이 레슨의 단어와 기호
임베딩
기호 하나를 나타내는 학습된 숫자 행
코사인 유사도
내적을 두 길이로 나눈 것: 같은 방향이면 1, 관계없으면 0, 반대면 -1
내 차례

my_prediction을 "vowels", "mixed", "digits" 중 하나로 설정하세요. cosine(a, b)와 nearest(ch, k)(ch와 코사인이 가장 높은 다른 문자 k개, 가장 좋은 것부터)를 쓰세요. 그다음 각 무리 안의 서로 다른 문자의 모든 쌍에 걸친 평균 코사인으로 group을 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.