강의 계획 레슨 250개 중 145번째 · 처음부터 만드는 임베딩과 의미 검색
처음부터 만드는 임베딩과 의미 검색

임베딩의 직관 (결정적인 가짜 임베더)

단어 주머니에는 치명적인 맹점이 있어요: "dog"와 "puppy"는 다른 단어라서 개수 벡터가 아무것도 공유하지 않고 코사인이 0이에요. 거의 같은 뜻인데도요. 진짜 임베딩은 단어(나 문장 전체)를 비슷하게 쓰이는 것끼리 가까이 떨어지는 벡터 공간에 놓아서 이걸 고쳐요. 길잡이 생각은 분포 가설이에요: 단어는 그 어울리는 무리로 알려진다. 같은 맥락에 나오는 단어는 비슷한 벡터를 얻어요.

실무 임베딩은 훈련된 신경망(sentence-transformers)이나 호스팅되는 API에서 와요. 여기서는 그걸 돌릴 수 없어요: 이 샌드박스에는 GPU도 네트워크도 없어요. 그래서 훈련된 가중치 없이 진짜의 기하를 잡는 결정적인 가짜 임베더를 만들어요. 한계에 대해 정직하고, 방식을 배우기에 딱이에요.

요령은 공기(co-occurrence) 벡터예요. 작게 선별한 말뭉치가 주어지면, 단어의 임베딩은 그 단어와 같은 문서에 나오는 다른 단어들의 개수예요. dog와 puppy가 둘 다 park, runs, nap과 어울리면, 맥락 벡터가 줄을 맞추고 코사인이 높아요. invoice는 대신 pay, due와 어울리니 다른 쪽을 가리켜요.

이 레슨과 함께 실린 말뭉치에서 보상은 구체적이에요:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

그 부등식 cosine(dog, puppy) > cosine(dog, invoice)가 한 줄로 표현한 임베딩의 요점 전부예요.

대조로, 진짜 호출은 이렇게 생겼어요(여기서는 돌지 않고, 맥락을 위해 보여 줄 뿐이에요):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

단어의 공기 벡터를 돌려주는 embed(word, corpus, vocab)를 만드세요: 고정된 길이의 리스트(어휘 단어마다 자리 하나)로, 자리 j는 목표 단어를 담은 모든 말뭉치 문서에 걸쳐 어휘 단어 j가 목표 단어와 함께 나오는 횟수를 세요. 목표 단어를 자기 자신과 세지는 마세요. 같은 단어는 언제나 같은 벡터를 돌려줘요.

내 차례

결정적인 가짜 임베더 embed(word, corpus, vocab)를 쓰세요. 주어진 단어에 대해 corpus의 모든 문서(각각 소문자 문자열)를 훑으세요. 그 단어를 담은 문서에서 다른 단어들을(목표 단어 자체는 건너뛰고) 어휘 길이의 벡터에 세서, vocab 순서의 리스트로 돌려주세요. 결과는 공기 맥락 벡터예요: 비슷한 맥락에서 쓰이는 단어는 비슷한 벡터를 얻으니, 레슨 말뭉치에서 cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice"))예요. 같은 단어는 언제나 같은 벡터를 내고, 길이는 언제나 len(vocab)과 같아요. 시작 코드의 CORPUS와 VOCAB는 그대로 두세요: 확인이 그것을 읽어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.