Araç Dağıtıcı / Yönlendirici
Model araç şemalarını okudu ve bir araç çağrısıyla yanıt verdi: {"name": "add", "arguments": {"a": 4, "b": 5}} gibi ayrıştırılmış bir nesne. Şimdi programın aslında run doğru fonksiyonu çalıştırması gerekiyor. Bu bir dispatcher (veya yönlendirici) görevidir: adlandırılmış aracı bul, argümanların tam olarak fonksiyonun beklediği gibi olduğunu kontrol et, onu çağır ve sonucu döndür. Bu, bir LLM'in kelimelerinin sisteminde gerçek bir yan etkiye dönüştüğü yerdir, bu yüzden burada katı olmalısın.
Gerçek bir döngüde modelin cevabını çözümledikten hemen sonra durur:
call = parse_tool_call(model_reply) # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY) # runs the matching Python function
# feed result back to the model as the tool's observationdispatch(call, registry)'yi oluşturuyorsun, burada registry araç isimlerini Python fonksiyonlarına eşliyor. Şunları yapmalı:
-
call["name"]vecall["arguments"]oku ({}için varsayılan argümanlar). - Bilinmeyen bir aracı reddet.Eğer isim kayıt defterinde yoksa, bir
ValueErrorhatası fırlat -> asla sessizce hiçbir şey yapma ve modelin uydurduğu bir aracı asla çalıştırma. - Argümanları doğrula.Fonksiyonun parametre isimlerini almak ve sağlanan argüman anahtarlarının tam olarak eşleştiğini onaylamak için
inspect.signaturekullan -> eksik bir argüman veya beklenmedik fazladan bir argüman hata vermelidir. - Çağır ve döndür.
func(**arguments)ile fonksiyonu çağır ve sonucunu döndür.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
raise ValueError("bad arguments")
return func(**arguments)Argümanlar konusunda neden bu kadar katısın? Yanlış argümanlarla çalışan bir tool call ya fonksiyonunun derinliklerinde çöker ya da daha kötüsü, sessizce yanlış işlemi yapar. Sınırda gürültülü bir şekilde hata vermek asıl amaçtır. İki farklı toolun (örneğin bir hesap makinesi ve bir arama aracı) kendi sonuçlarını döndüreceği, bilinmeyen bir toolun hata vereceği ve hem eksik hem de fazla bir argümanın hata vereceği şekilde inşa et.
call'in {"name": ..., "arguments": {...}} olduğu ve registry'nin isimleri fonksiyonlara eşlediği bir dispatch(call, registry) yaz. Bilinmeyen bir araç adında hata fırlat. Her required parametresinin mevcut olduğunu ve beklenmedik fazlalıklar olmadığını doğrulamak için inspect.signature kullan (varsayılan değeri olan bir parametre isteğe bağlıdır, bu yüzden onu atlamak sorun olmaz). inspect.signature(func).parameters her ismi bir p parametre nesnesine eşler; p.default is inspect.Parameter.empty sadece parametrenin varsayılan değeri olmadığında ve zorunlu olduğunda True olur, sonra func(**arguments)'yi çağır ve sonucu döndür. İki farklı araç kendi sonuçlarını döndürmelidir.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.