Müfredat 250 dersinden 189. · Üretim Kalıpları: Retries, Async, Streaming ve Memory
Üretim Kalıpları: Retries, Async, Streaming ve Memory

Çok Turlu Konuşma Belleği

A chatbot'un kendi hafızası yok -> model her çağrıda sadece senin gönderdiğini görür. Bir konuşmayı sürdürmek için geçmişi tekrar oynatırsın: sistem mesajı artı şu ana kadarki karşılıklı dönüşler. Ama geçmiş sınırsız büyür ve context window büyümez, bu yüzden her çağrıdan önce konuşmayı tutan ve sığması için budayan bir memory gerekiyor.

Politika, üretim sistemlerinin üzerinde uzlaştığı şeydir. Sistem mesajını her zaman koru -> çünkü asla kaybolmaması gereken talimatları ve kişiliği o taşır. Sonra bütçeye uygun olan en son turlardan mümkün olduğunca fazlasını tut, en eski sıradan turları önce ele, çünkü tutarlı bir yanıt için en son bağlam en çok önem taşır. Token bütçeleri tanıdık tahmin chars / 4 değerini kullanır.

convo = Conversation(system="You are a careful assistant.")
convo.add("user", "Tell me about Rome.")
convo.add("assistant", "Rome is the capital of Italy.")
context = convo.trimmed_context(max_tokens=64)   # what you actually send

Bu, cihaz üzerindeki bir WebLLM motoru dahil her türlü sohbet modelinin önünde duran nesnedir: turları biriktirirsin, sonra trimmed_context(...) kısmını bir sonraki çağrı için mesajlar olarak gönderirsin. Burada hiçbir model çalışmaz -> budama mantığı deterministiktir ve doğrudan derecelendirilir.

Bir Conversation sınıfı oluştur. Kurucu, isteğe bağlı bir system message (sabitlenmiş, asla düşürülmez) alır. add(role, content) bir turn ekler. trimmed_context(max_tokens) tutulan turnleri kronolojik sırada döndürür: her sistem mesajı ve tahmini tokenları (chars / 4 kuralı ile toplandığında) max_tokens içine sığan en güncel sıradan turnler, en eskiler önce düşürülür. Cömert bir bütçe altındaki kısa bir geçmiş bütün olarak tutulur.

Senin sıran

Conversation sınıfını, turlarını bir turns listesi özniteliğinde tutacak şekilde oluştur: her biri bir {"role", "content"} sözlüğü olsun; Conversation(system=...) sistem mesajını ilk tur olarak saklar. add(role, content) bir tur ekler ve trimmed_context(max_tokens), bir chars/4 token bütçesine uyan, kronolojik sırada döndürülen sistem mesajı(ları) artı en yeni unbroken run turlarını tutar. En yeni turdan geriye doğru yürü ve uymayan ilk turda dur: asla bir turu atlayıp daha eski birini tutma, çünkü ortasında boşluk olan (sorusu olmayan bir cevap) bir konuşma modeli şaşırtır. Kısa bir geçmiş bütün olarak tutulur; dar bir bütçe en eskiyi atar ama sistem mesajını ve en yeni turu tutar (eğer en yeni tur bile sığmazsa, sadece sistem mesajı kalır); sıra kronolojik kalır; token tahmini doğrudur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.