Caching Semantik & Hash
Panggilan model termurah adalah yang tidak pernah kamu buat. Sistem LLM produksi menaruh cache di depan model supaya pertanyaan yang berulang atau mirip dijawab secara gratis. Dua jenis mencakup sebagian besar kasus.
Hash caching kunci pada permintaan yang tepat. Triknya adalah normalize dulu supaya prompt yang berbeda sedikit bisa bentrok: ubah teks jadi huruf kecil, gabungkan spasi yang berurutan jadi satu spasi, dan masukkan opsi apa pun (temperature, model) dalam urutan yang stabil dan terurut sebelum hashing. Lalu " Hello World " dan "hello world" berbagi satu kunci. Mengubah ke huruf kecil adalah sebuah kompromi: untuk kebanyakan pertanyaan huruf besar tidak mengubah jawaban, tapi terkadang berpengaruh (identifikasi kode, "US" lawan "us"), jadi jangan lakukan jika prompt kamu peka huruf besar.
import hashlib, re
norm = re.sub(r"\s+", " ", prompt.strip().lower())
key = hashlib.sha256(norm.encode()).hexdigest()Semantic caching melangkah lebih jauh: ia mengembalikan jawaban yang tersimpan saat kueri baru berarti sama dengan kueri lama, diukur dengan cosine similarity antar vektor embedding. Jika vektor tersimpan terdekat memiliki skor di atau di atas ambang batas (misalnya 0.9), itu adalah hit; jika tidak, itu adalah miss dan kamu memanggil model. Dalam aplikasi nyata, vektor berasal dari model embedding; di sini kita memasukkannya secara langsung agar logikanya tetap deterministik. Bahayanya adalah false hit: "bagaimana cara membatalkan pesanan saya?" dan "bagaimana cara membatalkan langganan saya?" bisa sangat berdekatan di ruang embedding dan butuh jawaban berbeda. Atur ambang batas tinggi, ukur false hits pada trafik nyata sebelum mempercayainya, dan jangan pernah melakukan semantic-cache pada jawaban yang bergantung pada siapa yang bertanya.
cosine(a, b) = dot(a, b) / (norm(a) * norm(b))Buat tiga hal. (1) Sebuah class SemanticCache dengan put(query_vec, answer) dan get(query_vec) yang mengembalikan jawaban tersimpan dari entri terdekat saat cosine similarity nya >= self.threshold, jika tidak None. (2) cache_key(prompt, **opts) yang menormalisasi (huruf kecil, hapus spasi berlebih, urutkan kunci opsi) dan mengembalikan digest hashlib.sha256 dalam format hex, supaya dua prompt yang terlihat berbeda bisa memetakan ke kunci yang sama. (3) make_memoized(fn) -> sebuah callable yang menggunakan cache_key untuk menyimpan cache hasil dan menampilkan penghitung .hits dan .misses.
Buat (1) SemanticCache (sebuah threshold di __init__, ditambah put(query_vec, answer) dan get(query_vec) yang mengembalikan jawaban terdekat saat cosine similarity adalah >= jika tidak None); (2) cache_key(prompt, **opts): normalisasi prompt dengan re.sub(r"\s+", " ", prompt.strip().lower()), lalu hash "|".join([normalised] + ["%s=%s" % (k, opts[k]) for k in sorted(opts)]) dengan hashlib.sha256 dan kembalikan hex digest (pengecekan membandingkan dengan resep yang persis ini); (3) make_memoized(fn) yang mengembalikan callable dengan .hits dan .misses. Vektor yang hampir duplikat harus kena, yang jauh harus meleset, dan dua prompt dengan jarak berbeda harus berbagi kunci.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.