강의 계획 레슨 148개 중 97번째 · 출력 판단하기
출력 판단하기

말투가 아니라 출력을 읽기

왜 중요한가 어시스턴트의 답은 주장의 묶음이에요: 이 패키지들은 존재한다, 이 diff는 버그만 고친다, 이 코드는 경계 사례를 다룬다, 이 명령들은 안전하다. 주장 하나하나는 확인할 수 있고, 대부분의 확인은 싸요.

앞의 모듈들은 실패하는 테스트로 조언이 틀렸음을 증명했어요. 이 모듈은 한 걸음 더 넓게 가요: 배관처럼 보여서 사람들이 건너뛰는 답의 부분을 확인해요.

  • 이름: 패키지, 함수, 플래그. 코드 생성 모델에 대한 한 대규모 연구에서, 상용 모델이 추천한 패키지의 평균 적어도 5.2%와 공개 모델이 추천한 것의 21.7%가 존재하지 않았고, 서로 다른 지어낸 이름이 200,000개가 넘었어요(Spracklen et al., USENIX Security 2025). 공격자는 지어낸 이름을 등록하고 기다릴 수 있어요.
  • 범위: 버그를 고치면서 다른 함수 셋을 조용히 바꾸는 diff.
  • 선택: 모호한 요청은 어시스턴트가 여러분이 말한 적 없는 것, 예를 들어 대소문자, 순서, 빈 값을 정하게 해요.
  • 일치: 두 번 물어서 같은 답을 두 번 받는다고 맞는 건 아니에요.
  • 행동: 명령을 실행하는 에이전트는 여러분이 뜻한 폴더 밖으로 나갈 수 있어요.

슬롭스쿼팅: 모델이 지어내기 쉬운 이름으로 패키지를 등록해서, 그걸 설치하는 코드가 공격자의 코드를 실행하게 하는 것.

타이포스쿼팅: 인기 패키지에서 한 번의 실수만큼 떨어진 이름(requets)을 등록하고, 사람이든 모델이든 타자 실수를 기다리는 더 오래된 수법.

이 모듈의 어시스턴트 출력은 실제 어시스턴트가 내는 모양 그대로 이 강좌를 위해 쓴 거예요. 특정 모델의 기록이 아니에요.

요약 답을 주장들로 나누고 싼 것은 매번 확인하세요: 이름, 범위, 선택, 일치, 행동.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.