Akuntansi Token/Biaya + Caching
Gateway kamu sekarang merutekan permintaan, tapi setiap panggilan ke model asli memakan biaya dan waktu. Dua tuas terbesar yang kamu kendalikan adalah cost accounting (supaya tidak ada yang kaget dengan tagihan) dan caching (supaya kamu berhenti membayar untuk jawaban yang sama dua kali). Pelajaran ini membangun keduanya, dan caching punya kejutan yang membuatnya benar-benar berguna: ia menangkap pertanyaan yang hampir duplikat, bukan hanya pengulangan byte demi byte.
Mulai dengan meter. Estimasi token yang murah dan deterministik adalah "sekitar satu token per empat karakter," dan biaya hanyalah token dikali tarif per token:
def estimate_cost(text, rate):
tokens = len(text) // 4
return tokens * rateSekarang cache. Cache naif menggunakan kunci string yang tepat, jadi "Reset my password" dan "reset my password" terlihat seperti pertanyaan yang berbeda dan keduanya membayar harga penuh. Kamu akan membangun sebuah two-tier Cache class:
- Hash tier: normalisasi teks (huruf kecil, hapus spasi ganda), hash, dan simpan jawabannya di bawah kunci tersebut. Pengulangan yang persis (setelah dinormalisasi) adalah hit instan.
- Tingkat semantik:ketika hash tidak cocok, bandingkan embedding kueri dengan setiap embedding yang tersimpan menggunakan cosine similarity. Jika yang terdekat berada pada atau di atas ambang batas (misalnya
0.9), itu juga dianggap sebagai hit. Beginilah cara"password reset steps"mengenai"how do I reset my password"yang tersimpan di cache.
Baik put maupun get mengambil teks dan sebuah embedding yang sudah dihitung sebelumnya (vektor kecil). get mengembalikan sebuah (status, value) tuple di mana status adalah "hit" atau "miss":
def get(self, text, embedding):
key = self._key(text)
if key in self.by_hash: # tier 1: exact
return ("hit", self.by_hash[key])
best, best_sim = None, -1.0 # tier 2: semantic
for vec, answer in self.entries:
sim = cosine(embedding, vec)
if sim > best_sim:
best_sim, best = sim, answer
if best is not None and best_sim >= self.threshold:
return ("hit", best)
return ("miss", None)Cosine similarity adalah hasil kali titik dibagi hasil kali norma; waspadai vektor nol supaya kamu tidak pernah membagi dengan nol. Di gateway asli, embedding itu datang dari model, tapi di sini kamu memasukkannya langsung supaya logikanya bisa diuji secara offline. Tekan Run untuk memberi harga pada prompt, temukan cache dengan tepat, temukan lagi pada parafrase, dan lihat query yang tidak terkait meleset.
Tulis estimate_cost(text, rate) yang mengembalikan estimasi token (~1 token per 4 karakter) dikali rate per token. Lalu buat kelas Cache dua tingkat dengan put(text, embedding, answer) dan get(text, embedding) yang mengembalikan tuple (status, value). get adalah "hit" pada kecocokan teks yang tepat (dinormalisasi: huruf kecil, spasi dihapus) melalui hash, ATAU saat embedding tersimpan terdekat memiliki kemiripan kosinus >= ambang batas (hit semantik); jika tidak ("miss", None). Kueri berbeda dengan kemiripan rendah harus gagal.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.