강의 계획 레슨 250개 중 143번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

단어 주머니 벡터

모델이 두 글을 비교하려면 글이 먼저 숫자가 되어야 해요. 가장 오래되고 단순한 방법은 단어 주머니예요: 정해진 단어 목록(어휘)을 고르고, 어떤 문서든 각 어휘 단어가 그 안에 몇 번 나오는지로 나타내요. 단어 순서는 버려지니 "주머니"라는 말이 붙어요. 투박하지만 TF-IDF, BM25, 심지어 밀집 임베딩까지 모두 그 위에 쌓아 올리는 토대예요.

어휘가 ["the", "cat", "sat", "dog", "ran"]이라고 해요. 문서 "the cat sat"은 개수 벡터 [1, 1, 1, 0, 0]이 돼요: the 하나, cat 하나, sat 하나, dog 0개, ran 0개. 문서 "the dog ran the dog"은 [2, 0, 0, 2, 1]이 돼요.

실무에서 중요한 규칙 두 가지:

  • 벡터 길이는 문서가 얼마나 길든 언제나 어휘 크기예요. 그 고정된 모양 덕분에 문서들을 행렬로 쌓고 선형대수를 할 수 있어요.
  • 어휘에 없는 단어(어휘 밖, 또는 OOV)는 그냥 무시돼요. 실제 시스템은 어휘에 상한을 두니, 본 적 없는 단어는 사라져요.

실제 코드에서는 정확히 이 일을 하고 희소 행렬을 건네주는 scikit-learn을 꺼낼 거예요:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

그 도구가 속에서 무엇을 하는지 이해하려고, 세는 기계를 직접 만들어요.

vectorize(doc, vocab)를 만드세요: 문서를 소문자로 바꾸고, 공백으로 쪼개고, 어휘 단어마다 하나씩 어휘 순서대로 개수의 리스트를 돌려주세요. 어휘에 없는 토큰은 무시하세요. 빈 문서는 모두 0을 돌려줘요.

내 차례

문서 문자열을 정해진 어휘 위의 단어 주머니 개수 리스트로 바꾸는 vectorize(doc, vocab)를 쓰세요. 문서를 소문자로 바꾸고 공백으로 쪼개서, 각 vocab 단어가 몇 번 나오는지 세고, 개수를 vocab 순서의 리스트로 돌려주세요. 어휘 밖의 토큰은 무시하고, 빈 문서는 모두 0을 돌려줘요. 돌려준 리스트의 길이는 언제나 len(vocab)과 같아요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.