긴 문서를 청크로 나누기
검색 증강 생성(RAG)은 일반 모델이 여러분의 데이터를 보게 하는 방법이에요: 정책 안내서, 제품 설명서, 지난 분기의 지원 티켓. 모델은 그중 아무것도 외우지 않았으니, 질문할 때 관련 구절을 검색해서 프롬프트에 붙여 넣어요. 파이프라인 전체는 정직한 다섯 조각일 뿐이에요: 문서를 청크로 나누고, 청크마다 임베딩하고, 벡터를 저장하고, 쿼리에 가장 맞는 것들을 검색하고, 근거 있는 프롬프트를 만들어요. 이 모듈에서 다섯 개를 다 만들 거예요. 마지막 문장을 쓰는 모델은 브라우저 속 기기 내 WebLLM일 수 있지만, 그 둘레의 모든 단계는 평범하고 테스트할 수 있는 Python이고, 바로 그 부분을 고용주가 살펴봐요.
첫 단계는 청크 나누기예요. 40쪽 문서는 벡터 하나로 임베딩하기에도, 프롬프트에 밀어 넣기에도 너무 크니, 겹치는 창으로 잘라요. 왜 겹칠까요? 필요한 사실이 딱 잘린 경계에 걸칠 수 있거든요. 500번째 글자에서 깔끔하게 자르는데 "refunds take five business days"라는 문장이 495에서 515에 걸쳐 있으면, 어느 청크에도 답 전체가 없어요. 몇 글자의 겹침이 같은 문장을 양쪽 이웃에 온전히 살게 해요.
모양은 이래요: size 글자짜리 창을 매번 size - overlap의 step만큼 앞으로 밀어요.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunks그 break가 중요해요: 그게 없으면 끝을 지나서도 계속 걸어가서 "g" 같은 아주 작은 부스러기를 마지막 "청크"로 내보내요. 창이 끝에 닿자마자 멈추면 마지막 청크가 진짜 청크로 남아요.
만들 것. 겹치는 창의 리스트를 돌려주는 chunk(text, size, overlap)를 쓰세요. 테스트가 확인하는 규칙:
- 입력 검증:
size <= 0이거나,overlap이 음수이거나>= size이면(그만큼 큰 겹침은 결코 나아가지 않아요)ValueError를 일으켜요. - 빈 글은 빈 리스트
[]를 돌려줘요. - 한 청크의 마지막
overlap글자는 다음 청크의 처음overlap글자와 같아요. - 완전한 덮기:
chunks[0]에 그 뒤 모든 청크의chunks[i][overlap:]를 이으면 원래 글이 정확히 다시 만들어지고, 잃거나 겹친 글자가 없어요.
하나 차이 오류가 여기 살아요. 그러니 Run을 누르고 문단이 눈으로 확인할 수 있는 창으로 나뉘는 걸 보세요.
size글자짜리 창을 매 단계 size - overlap만큼 앞으로 밀고 창의 리스트를 돌려주는 chunk(text, size, overlap)를 쓰세요. size <= 0이거나 overlap이 음수이거나 >= size이면 ValueError를 일으키세요. 빈 글에는 []를 돌려주세요. 창이 글의 끝에 닿자마자 멈추세요(그래서 마지막 청크는 size보다 짧을 수 있고, 겹침만 되풀이하는 여분의 창은 결코 없어요). 이웃한 청크는 정확히 overlap글자를 공유해야 하고, 첫 청크에 그 뒤 모든 청크의 chunk[overlap:]를 이으면 원래 글이 다시 만들어져야 해요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.