강의 계획 레슨 250개 중 213번째 · 프로젝트: 고객 지원 코파일럿
프로젝트: 고객 지원 코파일럿

지식 베이스 색인하기

대표 포트폴리오 작품에 온 걸 환영해요: 고객 지원 코파일럿. 네 레슨에 걸쳐 검색 증강(RAG) 지원 어시스턴트를 처음부터 끝까지 만들고 평가할 거예요 -- 추측하는 대신 회사의 도움말 글에서 "비밀번호는 어떻게 재설정하나요?"에 답하는 채팅 위젯 뒤의 바로 그 시스템이에요. 끝내면 이력서 한 줄은 저절로 써져요: RAG 파이프라인과 평가 도구를 만들고 평가했어요.

RAG 시스템에는 황금률이 하나 있어요: 모델은 실제로 검색한 문서로만 답해요. 그러니 언어 모델이 끼기 전에 빠르고 정확한 검색이 필요해요. 그게 이번 레슨이에요. 여기서 코드를 읽는 채용 담당자는 한 가지를 확인해요: 글 더미를 잘 찾을 수 있는 것으로 바꿀 수 있나요? TF-IDF는 어휘적 방법이에요: 쿼리가 글과 공유하는 단어를, 각 단어가 얼마나 결정적인지로 가중치를 매겨 맞춰요. "refund"와 "money back"이 같은 뜻이라는 건 몰라요. 그건 임베딩이 더하는 거예요(다음 레슨들). 어휘 검색은 그래도 모든 검색 시스템이 이겨야 할 빠르고 싼 기준선이에요.

작은 TF-IDF 검색기를 만들 거예요. 생각을 한숨에: 각 글을 단어 가중치 벡터로 나타내는데, 단어가 이 글에서 자주 나오면(단어 빈도) 그리고 모든 글에서 드물면(역문서 빈도) 더 쳐줘요. 코사인 유사도로 쿼리를 모든 글과 비교하고 가장 가까운 것들을 돌려줘요.

세 가지 움직임이 그걸 작동하게 해요:

  • 토큰화 -- 소문자로 바꾸고, 단어로 나누고, 모든 것에 맞고 아무 뜻도 없는 "the"와 "is" 같은 작은 불용어를 버려요. re.findall(r"[a-z0-9]+", text.lower()) 다음에 불용어 집합으로 걸러요.
  • 가중치 -- 글마다 단어 빈도 곱하기 IDF, 그다음 길고 짧은 글이 공정하게 비교되도록 벡터를 단위 길이로 정규화해요.
  • 점수 -- 쿼리 벡터와 각 글 벡터 사이의 코사인 유사도. 단위 벡터라면 그냥 내적이에요. 내림차순으로 순위를 매겨요.

글 리스트에 대해 함수 두 개를 만드세요:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs)는 필요한 어떤 구조든 돌려줘요(dict면 충분해요). retrieve는 docs에 대한 정수 인덱스의 리스트를, 가장 잘 맞는 것부터, 최대 k개 돌려줘요. 평범한 Python과 math, numpy, 또는 scikit-learn의 TfidfVectorizer를 쓸 수 있어요 -- 무엇을 쓰든 계약은 같아요. 채점기가 색인을 다시 만들 수 있도록 DOCS를 모듈 수준에 정의해 두세요. Run을 눌러 지원 질문 몇 개가 올바른 글로 풀리는 걸 보세요.

내 차례

글 8개짜리 지원 지식 베이스에 대해 TF-IDF 검색기를 만드세요. DOCS를 모듈 수준에 두세요. build_index(docs)(불용어 제거와 함께 토큰화하고, tf*idf로 단어에 가중치를 주고, 단위 벡터로 정규화)와, 코사인 유사도로 가장 가까운 top-k 문서의 인덱스를 가장 좋은 것부터 최대 k개 돌려주는 retrieve(query, index, k)를 쓰세요. 평범한 Python, numpy, scikit-learn 모두 돼요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.