강의 계획 레슨 246개 중 235번째 · 모듈 22: 주장 판단하기
모듈 22: 주장 판단하기

관문: 주장 검토하기(AI 끄기)

왜 중요한가 결과를 비판적으로 읽는 건 모든 논문, 모델 카드, 벤치마크 표에 쓰게 될 기술이에요. 규칙은 단순해요. 어느 게 중요한지 듣지 않고 매번 적용하는 게 기술이에요.

관문 규칙: AI 튜터는 꺼져 있어요. review(claim)을 쓰세요. 주장은 "모델 A가 모델 B를 이긴다"고 하고, 각 모델의 각 시드의 손실과 훈련 데이터에서 찾은 테스트 세트의 비율이 딸려 와요. 순서대로:

  1. 테스트 세트의 10%보다 많이 훈련 데이터에 있었으면 "leaked"를 반환하세요: 거기서의 어떤 점수도 믿을 수 없어요.
  2. 어느 한 모델이라도 시드가 2개보다 적으면 "not shown"을 반환하세요: 퍼짐을 몰라요.
  3. diff = mean(B) - mean(A)(A가 나으면 양수), se = sqrt(var(A) / nA + var(B) / nB), 표본 분산(ddof=1)이라고 해요. diff > 2 se면 "shown", diff < -2 se면 "contradicted", 아니면 "not shown"을 반환하세요.

확인은 매 확인마다 다른 새 주장 여섯에 함수를 실행하는데, 경계 사례를 포함해요: 시드 하나, 정확히 10% 겹침, 정확히 일치하는 시드.

이 레슨의 단어와 기호
오염(누출)
훈련 데이터에도 있었던 테스트 항목
시드
실행의 무작위 선택을 고정하는 숫자. 다른 시드는 다른 결과를 줘요
내 차례

review를 채우세요. {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0}(150만 토큰에서 기록된 폭 1024와 512)에서 해 보세요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.