Müfredat 250 dersinden 183. · LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri
LLM'leri Yayına Hazırlama: Maliyet, Önbellekleme ve Koruma Bariyerleri

Çıktı Korumaları ve İz Birleştirme

Bir modelin cevabı sen kontrol edene kadar güvenilmezdir. İki çıktı koruması çoğu ihtiyacı karşılar. Bir izin listesi koruması çıktının bilinen bir kümeden tam olarak biri olmasında ısrar eder; bir sınıflandırıcıyı güvenilir yapmanın yolu budur: modelin positive, negative ya da neutral cevap vermesi gerekiyorsa, başka her şey reddedilir. Bir engel listesi koruması, çevreleyen metinden bağımsız olarak yasaklı bir terim (sızmış bir sır, bir hakaret, bir rakip adı) içeren her çıktıyı işaretler.

Üretim sistemleri ayrıca izlenebilirliğe ihtiyaç duyar: her çağrı girdisi, çıktısı, token sayısı, gecikmesi ve maliyetiyle kaydedilir, böylece olaydan sonra "bu neye mal oldu ve ne kadar yavaştı?" sorusunu cevaplayabilirsin. Bu kayıtları bir özete toplarsın: toplam maliyet ve gecikme yüzdelikleri. p95 gecikmesi (çağrıların %95'inin altında kaldığı değer) nöbetçi mühendislerin gerçekten izlediği sayıdır, çünkü ortalamalar yavaş kuyruğu gizler.

import numpy as np
p95 = np.percentile(latencies, 95)   # the slow-tail number, not the mean

Dört fonksiyon kur. (1) validate_output(text, allowed_labels) -> yalnızca text.strip() allowed_labels'ın içindeyse True. (2) contains_banned(text, banned) -> herhangi bir yasaklı terim text'te büyük-küçük harf duyarsız geçiyorsa True. (3) build_trace(input_text, output_text, tokens, latency_ms, cost) -> tam olarak bu beş anahtarı olan bir sözlük. (4) aggregate_traces(traces) -> iz sözlüklerinden bir pandas.DataFrame kur ve n, total_cost (6 ondalığa yuvarlanmış), p50_latency ve numpy.percentile ile hesaplanmış p95_latency içeren bir sözlük döndür.

Senin sıran

validate_output(text, allowed_labels) oluştur (text.strip() izin verilen bir etiket olduğunda True olsun), contains_banned(text, banned) (herhangi bir yasaklı terim göründüğünde True olsun, büyük/küçük harf duyarsız), build_trace(input_text, output_text, tokens, latency_ms, cost) (bu beş anahtara sahip bir dict) ve aggregate_traces(traces) (numpy.percentile aracılığıyla {n, total_cost (round 6dp), p50_latency, p95_latency} olarak özetlenmiş bir pandas DataFrame). İzin verilen bir etiket geçmeli, izin verilmeyen bir etiket ise engellemeli ve iki farklı yasaklı liste farklı sonuçlar vermeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.