강의 계획 레슨 246개 중 100번째 · 모듈 8: 실행 클리닉 I
모듈 8: 실행 클리닉 I

도우미를 믿을까?

왜 중요한가 AI 조수는 훈련 실행을 기꺼이 진단해 줘요. 흔히 맞고 가끔 자신 있게 틀려요. 기술은 말투 대신 증거로 어느 쪽인지 아는 거예요.

AI 도우미가 망가진 실행 열 개를 보고 각각에 결함 이름을 댔어요. 답의 약 3분의 1이 틀렸고, 맞는 것과 정확히 같은 자신감으로 들려요. 각 경우에 대해 정하세요: 받아들이기 또는 거부하기. 모든 결정을 주장이 얼마나 그럴듯하게 들리는지가 아니라 프로브에 두세요.

점수는 판정 정확도예요: 받아들이기나 거부하기가 얼마나 자주 진실과 맞았는지. (이건 모듈 9가 정의하는 보정이 아니에요: 자신감이 맞는 빈도와 맞는지.) 일부 증상에는 맞지만 결정적인 것에는 맞지 않는 주장을 조심하세요: 멈춘 손실은 너무 낮은 학습률일 수도, 괜찮다가 떨어진 학습률일 수도 있어요.

프로브알려 주는 것
loss_curve(c)50걸음마다의 훈련 손실과 최종 검증 정확도. 언제나 먼저 보세요.
loss_at_init(c)훈련 전의 손실. 새 10클래스 모델은 ln(10) = 2.30 근처여야 해요.
overfit_one_batch(c)예시 32개를 외울 수 있나? 건강한 설정은 0 근처에 가요.
grad_norms(c)시작할 때 가중치 행렬마다의 기울기 크기. 0이면 아무것도 배울 수 없어요.
update_ratio(c)가중치 크기에 대한 평범한 SGD 걸음 크기. 건강하면 약 0.001~0.1(평범한 SGD의 경험칙. 모듈 14가 왜 Adam은 다른지 보여 줘요).
act_stats(c)은닉 활성화: 평균, 가장 큰 값, 죽은 유닛의 비율.
lr_schedule(c)걸음 0, 50, 100 등에서의 학습률.
batch_labels(c)처음 몇 배치의 레이블.
overlap(c)검증 예시 중 몇 개가 훈련에도 나오는지.
이 레슨의 단어와 기호
프로브
기울기 크기나 죽은 유닛 같은, 실행에 대한 빠른 측정
판정 정확도
주장에 대한 받아들이기나 거부하기가 얼마나 자주 진실과 맞았는지
내 차례

경우 A부터 J까지 각각 verdicts[case]를 True(도우미가 맞음)나 False로 설정하세요. 10개 중 적어도 9개를 맞혀야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.