모듈 22: 주장 판단하기
관문: 주장 검토하기(AI 끄기)
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 결과를 비판적으로 읽는 건 모든 논문, 모델 카드, 벤치마크 표에 쓰게 될 기술이에요. 규칙은 단순해요. 어느 게 중요한지 듣지 않고 매번 적용하는 게 기술이에요.
관문 규칙: AI 튜터는 꺼져 있어요. review(claim)을 쓰세요. 주장은 "모델 A가 모델 B를 이긴다"고 하고, 각 모델의 각 시드의 손실과 훈련 데이터에서 찾은 테스트 세트의 비율이 딸려 와요. 순서대로:
- 테스트 세트의 10%보다 많이 훈련 데이터에 있었으면 "leaked"를 반환하세요: 거기서의 어떤 점수도 믿을 수 없어요.
- 어느 한 모델이라도 시드가 2개보다 적으면 "not shown"을 반환하세요: 퍼짐을 몰라요.
- diff = mean(B) - mean(A)(A가 나으면 양수), se = sqrt(var(A) / nA + var(B) / nB), 표본 분산(
ddof=1)이라고 해요. diff > 2 se면 "shown", diff < -2 se면 "contradicted", 아니면 "not shown"을 반환하세요.
확인은 매 확인마다 다른 새 주장 여섯에 함수를 실행하는데, 경계 사례를 포함해요: 시드 하나, 정확히 10% 겹침, 정확히 일치하는 시드.
이 레슨의 단어와 기호
- 오염(누출)
- 훈련 데이터에도 있었던 테스트 항목
- 시드
- 실행의 무작위 선택을 고정하는 숫자. 다른 시드는 다른 결과를 줘요
내 차례
review를 채우세요. {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0}(150만 토큰에서 기록된 폭 1024와 512)에서 해 보세요.
AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.