Programma Lezione 97 di 148 · Giudica il risultato
Giudica il risultato

Leggi il risultato, non il tono

Perché è importante La risposta di un assistente è un pacchetto di affermazioni: questi pacchetti esistono, questo diff corregge solo il bug, questo codice gestisce il caso limite, questi comandi sono sicuri. Ogni affermazione si può verificare, e la maggior parte delle verifiche costa poco.

I moduli precedenti hanno provato che un consiglio era sbagliato con un test che fallisce. Questo modulo allarga lo sguardo di un passo: verifica le parti di una risposta che le persone saltano perché sembrano idraulica.

  • Nomi: pacchetti, funzioni e opzioni. In un ampio studio sui modelli che generano codice, in media almeno il 5.2% dei pacchetti consigliati dai modelli commerciali, e il 21.7% di quelli dei modelli aperti, non esisteva, con oltre 200,000 nomi inventati distinti (Spracklen et al., USENIX Security 2025). Un attaccante può registrare un nome inventato e aspettare.
  • Portata: un diff che corregge il bug e in silenzio cambia altre tre funzioni.
  • Scelte: una richiesta vaga fa decidere all'assistente cose che non hai mai detto, come maiuscole e minuscole, ordine o valori vuoti.
  • Accordo: chiedere due volte e ricevere due volte la stessa risposta non la rende giusta.
  • Azioni: un agente che esegue comandi può uscire dalla cartella che intendevi.

Slopsquatting: registrare un pacchetto con un nome che i modelli tendono a inventare, così il codice che lo installa esegue il codice dell'attaccante.

Typosquatting: il trucco più vecchio di registrare un nome a un errore di distanza da un pacchetto popolare (requets), aspettando un errore di battitura, di una persona o di un modello.

L'output dell'assistente in questo modulo è stato scritto per il corso esattamente nella forma che producono gli assistenti veri. Non è la registrazione di un modello in particolare.

Riepilogo Dividi una risposta in affermazioni e verifica ogni volta quelle economiche: nomi, portata, scelte, accordo, azioni.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.