청크 임베딩하기
글 청크가 있어요. 하지만 검색기는 단어가 아니라 벡터를 비교하니, 빠진 단계는 임베딩이에요: 각 청크를 고정 길이 숫자 리스트로 바꿔서 내용이 비슷한 글이 비슷한 좌표에 놓이게 해요. 이것이 파이프라인(chunk -> embed -> store -> retrieve -> prompt)에서 약속한 "embed"이고, 다음 레슨의 VectorStore.add(id, text, vector)에 먹이는 거예요.
실무 시스템은 네트워크 너머의 신경망 임베딩 모델(OpenAI, Cohere, sentence-transformer)을 부르지만, 계약은 똑같고, 그것을 배우려고 오프라인에서 진짜 결정적인 임베더를 만들 수 있어요: 단어 주머니 벡터. vocab(신경 쓰는 단어들)을 정한 다음, 글 한 조각을 각 vocab 단어가 그 안에 몇 번 나오는지로 나타내요.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)한 단계를 더하면 코사인 검색에 쓸 수 있어요: 벡터를 L2 정규화하세요(자기 길이 np.linalg.norm으로 나눠요). 그러면 모든 벡터의 길이가 1이 되니, 코사인 유사도가 평범한 내적이 되고 긴 청크가 단어가 많다는 이유만으로 짧은 청크를 압도하지 않아요. vocab 단어가 하나도 없는 청크는 정규화할 게 없으니, 그 모두 0인 벡터는 그대로 두세요(결코 0으로 나누지 마세요).
함수 두 개를 만드세요.
build_vocab(chunks)-> 모든 청크에 걸친 고유 단어의 정렬된 리스트. 각 청크를text.lower().split()으로 토큰화하세요(소문자, 공백으로 나누기).embed(text, vocab)-> 길이len(vocab)의 numpy float 배열:text에서 각 vocab 단어의 개수(같은 토크나이저)를 센 다음 L2 정규화해요. 개수가 모두 0이면 0 벡터를 그대로 돌려줘요.
Run을 눌러 청크 몇 개를 임베딩하고 관련된 글이 같은 쪽을 가리키는지 확인하세요.
모든 청크에 걸친 정렬된 고유 단어를 돌려주는 build_vocab(chunks)(text.lower().split()으로 토큰화)와, text에서 각 vocab 단어의 개수(같은 토크나이저)를 담고 np.linalg.norm으로 L2 정규화한 길이 len(vocab)의 numpy float 배열을 돌려주는 embed(text, vocab)를 쓰세요. 모든 개수가 0이면 모두 0인 벡터를 그대로 돌려주세요(0으로 나누지 마세요).
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.