Müfredat 250 dersinden 180. · LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri
LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri

Semantik ve Hash Önbelleğeleme

En ucuz model çağrısı, hiç yapmadığın çağrıdır. Üretim LLM sistemleri, modelin önüne bir cache koyar böylece tekrarlanan veya benzer sorular ücretsiz yanıtlanır. Çoğu durumu iki tür kapsar.

Hash caching anahtarları tam isteğin üzerine. Püf noktası önce normalize yapmaktır böylece basitçe farklı istemler çakışır: metni küçük harfe çevir, boşluk dizilerini tek bir boşluğa indir ve hashlemeden önce seçenekleri (temperature, model) sabit, sıralı bir düzende dahil et. Sonra " Hello World " ve "hello world" tek bir anahtarı paylaşır. Küçük harfe çevirme bir ödündür: çoğu soru için büyük küçük harf cevabı değiştirmez, ama bazen değiştirir (bir kod tanımlayıcısı, "US" karşısında "us"), bu yüzden istemlerin büyük küçük harfe duyarlı olduğunda bunu dahil etme.

import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key  = hashlib.sha256(norm.encode()).hexdigest()

Anlamsal önbellekleme daha ileri gider: yeni bir sorgu anlamında eski bir tanesiyle aynı şeyi ifade ettiğinde, kosinüs benzerliği ile ölçülen önbelleğe alınmış bir cevap döndürür. En yakın saklanan vektör puanı bir eşiğe (örneğin 0.9) ulaşır veya geçerse bu bir hit olur; aksi takdirde bu bir miss olur ve modeli çağırırsın. Gerçek bir uygulamada vektörler bir embedding modelinden gelir; burada mantığın deterministik kalması için onları doğrudan geçiyoruz. Tehlike bir yanlış hit durumudur: "siparişimi nasıl iptal ederim?" ve "aboneliğimi nasıl iptal ederim?" soruları embedding uzayında birbirine çok yakın olabilir ve farklı cevaplar gerektirebilir. Eşiği yüksek tut, güvenmeden önce gerçek trafik üzerindeki yanlış hitleri ölç ve kimin sorduğuna bağlı olan cevapları asla anlamsal olarak önbelleğe alma.

cosine(a, b) = dot(a, b) / (norm(a) * norm(b))

Üç şey oluştur. (1) cosine similarity değeri >= self.threshold olduğunda en yakın girişin saklanan cevabını, aksi takdirde None döndüren put(query_vec, answer) ve get(query_vec) içeren bir SemanticCache sınıfı. (2) (küçük harfe çeviren, boşlukları birleştiren, seçenek anahtarlarını sıralayan) ve hex hashlib.sha256 özeti döndüren cache_key(prompt, **opts), böylece yüzeysel olarak farklı iki prompt aynı anahtara eşleşir. (3) make_memoized(fn) -> sonuçları önbelleğe almak için cache_key kullanan ve .hits ile .misses sayaçlarını sunan bir callable.

Senin sıran

(1) SemanticCache (__init__ içinde bir threshold, ayrıca cosine similarity >= eşiği olduğunda en yakın cevabı, aksi halde None döndüren put(query_vec, answer) ve get(query_vec)); (2) cache_key(prompt, **opts): promptu re.sub(r"\s+", " ", prompt.strip().lower()) ile normalleştir, sonra "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)])'yi hashlib.sha256 ile hashle ve hex digest döndür (kontrol tam olarak bu tarifle karşılaştırılır); (3) .hits ve .misses ile çağrılabilir bir fonksiyon döndüren make_memoized(fn). Yakın bir kopya vektörü yakalamalı, uzak olanı kaçırmalı ve farklı aralıklı iki prompt aynı anahtarı paylaşmalı.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.