Conteúdo do curso Lição 97 de 148 · Julgue a saída
Julgue a saída

Leia a saída, não o tom

Por que isso importa A resposta de um assistente é um conjunto de afirmações: esses pacotes existem, este diff apenas corrige o bug, este código trata o caso de borda, esses comandos são seguros. Cada afirmação pode ser verificada, e a maioria das verificações é barata.

Os módulos anteriores provaram que o conselho estava errado com um teste falho. Este módulo vai um passo além: ele verifica as partes de uma resposta que as pessoas pulam porque parecem encanamento.

  • Names: pacotes, funções e flags. Em um grande estudo de modelos de geração de código, em média pelo menos 5.2% dos pacotes que modelos comerciais recomendaram, e 21.7% daqueles de modelos abertos, não existiam, com mais de 200.000 nomes inventados distintos (Spracklen et al., USENIX Security 2025). Um atacante pode registrar um nome inventado e esperar.
  • Scope: uma diff que corrige o bug e muda silenciosamente outras três funções.
  • Escolhas: um pedido vago faz o assistente decidir coisas que você nunca disse, como letras maiúsculas, ordem ou valores vazios.
  • Agreement: perguntar duas vezes e obter a mesma resposta duas vezes não torna isso correto.
  • Ações: um agente que executa comandos pode sair da pasta que você pretendia.

Slopsquatting: registrar um pacote sob um nome que modelos tendem a inventar, então o código que o instala executa o código do atacante.

Typosquatting: o truque antigo de registrar um nome com um erro de digitação de um pacote popular (requets), esperando por um erro de digitação, por uma pessoa ou por um modelo.

A saída do assistente neste módulo foi escrita para o curso no formato exato que assistentes reais produzem. Não é uma gravação de nenhum modelo específico.

Resumo Divida uma resposta em afirmações e verifique as baratas todas as vezes: nomes, escopo, escolhas, concordância, ações.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.