말투가 아니라 출력을 읽기
왜 중요한가 어시스턴트의 답은 주장의 묶음이에요: 이 패키지들은 존재한다, 이 diff는 버그만 고친다, 이 코드는 경계 사례를 다룬다, 이 명령들은 안전하다. 주장 하나하나는 확인할 수 있고, 대부분의 확인은 싸요.
앞의 모듈들은 실패하는 테스트로 조언이 틀렸음을 증명했어요. 이 모듈은 한 걸음 더 넓게 가요: 배관처럼 보여서 사람들이 건너뛰는 답의 부분을 확인해요.
- 이름: 패키지, 함수, 플래그. 코드 생성 모델에 대한 한 대규모 연구에서, 상용 모델이 추천한 패키지의 평균 적어도 5.2%와 공개 모델이 추천한 것의 21.7%가 존재하지 않았고, 서로 다른 지어낸 이름이 200,000개가 넘었어요(Spracklen et al., USENIX Security 2025). 공격자는 지어낸 이름을 등록하고 기다릴 수 있어요.
- 범위: 버그를 고치면서 다른 함수 셋을 조용히 바꾸는 diff.
- 선택: 모호한 요청은 어시스턴트가 여러분이 말한 적 없는 것, 예를 들어 대소문자, 순서, 빈 값을 정하게 해요.
- 일치: 두 번 물어서 같은 답을 두 번 받는다고 맞는 건 아니에요.
- 행동: 명령을 실행하는 에이전트는 여러분이 뜻한 폴더 밖으로 나갈 수 있어요.
슬롭스쿼팅: 모델이 지어내기 쉬운 이름으로 패키지를 등록해서, 그걸 설치하는 코드가 공격자의 코드를 실행하게 하는 것.
타이포스쿼팅: 인기 패키지에서 한 번의 실수만큼 떨어진 이름(requets)을 등록하고, 사람이든 모델이든 타자 실수를 기다리는 더 오래된 수법.
이 모듈의 어시스턴트 출력은 실제 어시스턴트가 내는 모양 그대로 이 강좌를 위해 쓴 거예요. 특정 모델의 기록이 아니에요.
요약 답을 주장들로 나누고 싼 것은 매번 확인하세요: 이름, 범위, 선택, 일치, 행동.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.