Planlama + Döngü Korumaları
Eyleme yeteneği olan bir ajan aynı zamanda sonsuza kadar eylemde bulunabilir. Gerçek bir ajanın para yakıbının ve bir nöbetçi mühendise sayfa göndermesinin bir numaralı yolu, freni olmayan bir döngüdür: sürekli aynı tool'u çağırır, aynı observation'ı alır ve asla işinin bittiğine karar vermez. Bu ders, bir ajanı gerçekten çalıştırmayı güvenli kılan iki şeyi ekler: bir hedefi sıralı alt görevlere bölen küçük bir planner ve ajanın kontrolden çıkmadan önce onu durduran bir loop guard.
Önce, planlama. decompose(goal) tek satırlık bir hedefi numaralandırılmış alt görevler listesine dönüştürür. Bunu deterministik ve kural tabanlı tutuyoruz (LLM bunu üretim aşamasında yapar, ama shape önemli olan şeydir): hedefi "then" kelimesinden böl, her parçayı temizle ve onları 1'den başlayarak numaralandır.
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]Şimdi koruma. run_with_guard(policy, state, max_steps) bir politikayı adım adım yürütür, ancak kaçmayı reddeder. Buradaki bir politika bir policy(state) -> action (almak istediği eylemi adlandıran bir string) fonksiyonudur; bir eylemi uygulamak onu sadece bir geçmiş listesine ekler. Koruma üç nedenden biri için durur ve hangisi olduğunu bildirir:
- bitti: politika
"done"->"done"nedeni ile durdurma eylemini döndürür. - ilerleme yok: politika üst üste iki kez aynı eylemi döndürüyor ->
"repeat"nedeniyle durdur. Bu klasik bir döngüde takılma sinyalidir: ajan gözlemlerinden bir şey öğrenmiyor. - budget:
max_stepsbitişmeden ulaşıyor ->"max_steps"nedeni ile durdur.
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}Bir dict döndür {"history": [...], "reason": ...}. "repeat" kontrolü seni kurtaran şeydir: sonsuza kadar "search" yaymaya devam eden hatalı veya kafası karışık bir politika, ikinci aynı eylemde durdurulur ve bunu kaydedip alarm verebileceğin bir sebep sunar. İlerleme kaydedip sonra "done" diyen düzgün bir politika, bütçesi içinde temizce biter. Değerlendirici, döngüye giren bir politikanın "repeat" ile durduğunu, kontrolden çıkan bir politikanın "max_steps"'ye çarptığını ve iyi bir politikanın "done" ile bittiğini, ayrıca o decompose sayılarının doğru olduğunu kontrol eder. Tüm üç sonucu görmek için Run tuşuna bas.
decompose(goal) yaz: goal'yi " then " üzerine böl, her parçayı temizle ve bunları "1. part", "2. part", ... olarak döndür. Sonra policy(state)'nin bir aksiyon dizisi döndürdüğü run_with_guard(policy, state, max_steps) yaz. Politikayı max_steps kez çalıştır ve {"history": [...], "reason": ...} döndür: aksiyon "done" olduğunda "done" nedeni ile dur; bir aksiyon hemen öncekiyle eşit olduğunda (ilerleme yok) "repeat" nedeni ile dur; bütçe bittiğinde "max_steps" nedeni ile dur. Her kabul edilen aksiyonu history'ye ekle.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.