Silabus Pelajaran 227 dari 250 · Proyek: Production AI Gateway
Proyek: Production AI Gateway

Akuntansi Token/Biaya + Caching

Gateway kamu sekarang merutekan permintaan, tapi setiap panggilan ke model asli memakan biaya dan waktu. Dua tuas terbesar yang kamu kendalikan adalah cost accounting (supaya tidak ada yang kaget dengan tagihan) dan caching (supaya kamu berhenti membayar untuk jawaban yang sama dua kali). Pelajaran ini membangun keduanya, dan caching punya kejutan yang membuatnya benar-benar berguna: ia menangkap pertanyaan yang hampir duplikat, bukan hanya pengulangan byte demi byte.

Mulai dengan meter. Estimasi token yang murah dan deterministik adalah "sekitar satu token per empat karakter," dan biaya hanyalah token dikali tarif per token:

def estimate_cost(text, rate):
    tokens = len(text) // 4
    return tokens * rate

Sekarang cache. Cache naif menggunakan kunci string yang tepat, jadi "Reset my password" dan "reset my password" terlihat seperti pertanyaan yang berbeda dan keduanya membayar harga penuh. Kamu akan membangun sebuah two-tier Cache class:

  • Hash tier: normalisasi teks (huruf kecil, hapus spasi ganda), hash, dan simpan jawabannya di bawah kunci tersebut. Pengulangan yang persis (setelah dinormalisasi) adalah hit instan.
  • Tingkat semantik:ketika hash tidak cocok, bandingkan embedding kueri dengan setiap embedding yang tersimpan menggunakan cosine similarity. Jika yang terdekat berada pada atau di atas ambang batas (misalnya 0.9), itu juga dianggap sebagai hit. Beginilah cara "password reset steps" mengenai "how do I reset my password" yang tersimpan di cache.

Baik put maupun get mengambil teks dan sebuah embedding yang sudah dihitung sebelumnya (vektor kecil). get mengembalikan sebuah (status, value) tuple di mana status adalah "hit" atau "miss":

def get(self, text, embedding):
    key = self._key(text)
    if key in self.by_hash:            # tier 1: exact
        return ("hit", self.by_hash[key])
    best, best_sim = None, -1.0        # tier 2: semantic
    for vec, answer in self.entries:
        sim = cosine(embedding, vec)
        if sim > best_sim:
            best_sim, best = sim, answer
    if best is not None and best_sim >= self.threshold:
        return ("hit", best)
    return ("miss", None)

Cosine similarity adalah hasil kali titik dibagi hasil kali norma; waspadai vektor nol supaya kamu tidak pernah membagi dengan nol. Di gateway asli, embedding itu datang dari model, tapi di sini kamu memasukkannya langsung supaya logikanya bisa diuji secara offline. Tekan Run untuk memberi harga pada prompt, temukan cache dengan tepat, temukan lagi pada parafrase, dan lihat query yang tidak terkait meleset.

Giliranku

Tulis estimate_cost(text, rate) yang mengembalikan estimasi token (~1 token per 4 karakter) dikali rate per token. Lalu buat kelas Cache dua tingkat dengan put(text, embedding, answer) dan get(text, embedding) yang mengembalikan tuple (status, value). get adalah "hit" pada kecocokan teks yang tepat (dinormalisasi: huruf kecil, spasi dihapus) melalui hash, ATAU saat embedding tersimpan terdekat memiliki kemiripan kosinus >= ambang batas (hit semantik); jika tidak ("miss", None). Kueri berbeda dengan kemiripan rendah harus gagal.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.