Uzun Belgeleri Parçalara Ayırma
Retrieval-augmented generation (RAG), genel bir modeli senin verilerine yönlendirme yöntemidir: bir politika el kitabı, bir ürün kılavuzu veya geçen çeyreğin destek biletleri. Model bunların hiçbirini ezberlemedi, bu yüzden soru anında ilgili pasajları retrieve eder ve onları prompt içine yapıştırırsın. Tüm boru hattı sadece beş dürüst parçadan oluşur: belgeleri chunk yap, her chunk için embed oluştur, vektörleri store et, bir sorgu için en iyi eşleşmeleri retrieve et ve grounded bir prompt oluştur. Bu modül boyunca beşinin hepsini inşa edeceksin. Son cümleyi yazan model tarayıcındaki cihaz içi WebLLM olabilir, ancak etrafındaki her adım sade, test edilebilir Python kodudur ve işverenlerin tam olarak ekranladığı kısım budur.
İlk adım chunking. 40 sayfalık bir belge tek bir vektör olarak gömmek için çok büyük ve bir prompt içine sığdırmak için çok büyük, bu yüzden onu üst üste binen pencerelere bölüyorsun. Neden üst üste binen? Çünkü ihtiyacın olan bir bilgi sert bir sınırın iki yanına dağılmış olabilir. Eğer 500. karakterde temiz bir kesim yaparsan ve "refunds take five business days" cümlesi 495 ile 515 arasını kapsıyorsa, hiçbir chunk cevabın tamamını içermez. Birkaç karakterlik overlap aynı cümlenin her iki komşuda da sağlam kalmasını sağlar.
Şekli şu şekilde: size karakterlik bir pencereyi her seferinde size - overlap kadar step ileri kaydırıyorsun.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksŞu break önemli: o olmadan sürekli sonun ötesine geçersin ve "g" gibi küçük bir parçayı son "chunk" olarak üretirsin. Bir pencere sona ulaşır ulaşmaz durmak, son chunk'ın gerçek bir chunk olarak kalmasını sağlar.
Ne yapacaksın. chunk(text, size, overlap) üst üste binen pencerelerin listesini döndüren bir fonksiyon yaz. Testlerin kontrol ettiği kurallar:
- Girdileri doğrula:
size <= 0ise veyaoverlapnegatif veya>= size(hiçbir zaman ilerlemeyen o kadar büyük bir çakışma) iseValueErrorhatası fırlat. - Boş metin boş bir liste döndürür
[]. - Bir parçanın son
overlapkarakteri, bir sonraki parçanın ilkoverlapkarakterine eşittir. - Tam kapsam: dikişi
chunks[0]artıchunks[i][overlap:]her sonraki parça için orijinal metni tam olarak yeniden üretir, hiçbir karakter kaybolmaz veya çiftleşmez.
Off-by-one hataları burada yaşar, bu yüzden Run tuşuna bas ve bir paragrafın gözle kontrol edebileceğin pencerelere bölündüğünü izle.
Her adımda size karakterlik bir pencereyi size - overlap kadar ileri kaydıran ve pencerelerin listesini döndüren chunk(text, size, overlap) yaz. size <= 0 olduğunda veya overlap negatif veya >= size olduğunda ValueError hatası ver. Boş metin için [] döndür. Bir pencere metnin sonuna ulaştığı an dur (bu yüzden son parça size karakterden kısa olabilir ve çakışmayı sadece tekrar eden fazladan bir pencere asla olmaz). Ardışık parçalar tam olarak overlap karakter paylaşmalıdır ve ilk parçayı her sonraki parçanın chunk[overlap:] karakteri ile birleştirmek orijinal metni yeniden oluşturmalıdır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.