단어 주머니 벡터
모델이 두 글을 비교하려면 글이 먼저 숫자가 되어야 해요. 가장 오래되고 단순한 방법은 단어 주머니예요: 정해진 단어 목록(어휘)을 고르고, 어떤 문서든 각 어휘 단어가 그 안에 몇 번 나오는지로 나타내요. 단어 순서는 버려지니 "주머니"라는 말이 붙어요. 투박하지만 TF-IDF, BM25, 심지어 밀집 임베딩까지 모두 그 위에 쌓아 올리는 토대예요.
어휘가 ["the", "cat", "sat", "dog", "ran"]이라고 해요. 문서 "the cat sat"은 개수 벡터 [1, 1, 1, 0, 0]이 돼요: the 하나, cat 하나, sat 하나, dog 0개, ran 0개. 문서 "the dog ran the dog"은 [2, 0, 0, 2, 1]이 돼요.
실무에서 중요한 규칙 두 가지:
- 벡터 길이는 문서가 얼마나 길든 언제나 어휘 크기예요. 그 고정된 모양 덕분에 문서들을 행렬로 쌓고 선형대수를 할 수 있어요.
- 어휘에 없는 단어(어휘 밖, 또는 OOV)는 그냥 무시돼요. 실제 시스템은 어휘에 상한을 두니, 본 적 없는 단어는 사라져요.
실제 코드에서는 정확히 이 일을 하고 희소 행렬을 건네주는 scikit-learn을 꺼낼 거예요:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columns그 도구가 속에서 무엇을 하는지 이해하려고, 세는 기계를 직접 만들어요.
vectorize(doc, vocab)를 만드세요: 문서를 소문자로 바꾸고, 공백으로 쪼개고, 어휘 단어마다 하나씩 어휘 순서대로 개수의 리스트를 돌려주세요. 어휘에 없는 토큰은 무시하세요. 빈 문서는 모두 0을 돌려줘요.
문서 문자열을 정해진 어휘 위의 단어 주머니 개수 리스트로 바꾸는 vectorize(doc, vocab)를 쓰세요. 문서를 소문자로 바꾸고 공백으로 쪼개서, 각 vocab 단어가 몇 번 나오는지 세고, 개수를 vocab 순서의 리스트로 돌려주세요. 어휘 밖의 토큰은 무시하고, 빈 문서는 모두 0을 돌려줘요. 돌려준 리스트의 길이는 언제나 len(vocab)과 같아요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.