모델이 글자에 대해 배운 것
왜 중요한가 아무도 언어 모델에게 a와 e가 둘 다 모음이라고 알려 주지 않아요. 그래도 임베딩이 둘을 가까이 둔다면, 모델이 텍스트만으로 그걸 발견한 거예요. 데이터로 배운 "뜻"을 처음 엿보는 순간이에요.
두 임베딩을 비교하려면 코사인 유사도를 쓰세요: 내적을 두 길이로 나눈 것. 두 벡터가 같은 쪽을 가리키면 1, 관계없으면(직각) 0, 반대쪽을 가리키면 마이너스 1이에요. 길이를 무시하는데, 길이는 대체로 기호가 얼마나 자주 나오는지를 반영해요.
강좌의 기록된 작은 GPT(모듈 13이 만들어요) 안을 들여다볼 거예요. 그건 이 강좌의 레슨 텍스트만, 한 번에 한 문자씩, 각 문자를 숫자 64개짜리 행으로 읽었어요.
먼저 예측하세요: 문자 쌍의 어느 무리가 평균적으로 가장 비슷할까요: 모음 둘, 모음과 자음, 아니면 숫자 둘?
이 레슨의 단어와 기호
- 임베딩
- 기호 하나를 나타내는 학습된 숫자 행
- 코사인 유사도
- 내적을 두 길이로 나눈 것: 같은 방향이면 1, 관계없으면 0, 반대면 -1
my_prediction을 "vowels", "mixed", "digits" 중 하나로 설정하세요. cosine(a, b)와 nearest(ch, k)(ch와 코사인이 가장 높은 다른 문자 k개, 가장 좋은 것부터)를 쓰세요. 그다음 각 무리 안의 서로 다른 문자의 모든 쌍에 걸친 평균 코사인으로 group을 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.