더 적은 비트: float32, float16, 손실 크기 조정
왜 중요한가 더 적은 비트로 저장한 숫자는 옮기기 빠르고 메모리를 절반만 써서, 큰 모델은 16비트 숫자로 훈련하고 배포돼요. 하지만 16비트는 알아야 할 두 가지 방식으로 망가져요.
- 넘침: float16은 65,504보다 큰 건 담을 수 없어요. 더 큰 값은 무한대가 되고, 그다음 nan이 훈련에 퍼져요.
- 언더플로: float16은 아주 작은 값도 담을 수 없어요. 약 3e-8보다 작은 건 정확히 0으로 반올림돼요. 작은 기울기가 사라져요.
손실 크기 조정
역방향 단계 전에 손실에 큰 숫자 S(예를 들어 1,024)를 곱해서, 모든 기울기가 S배 커지고 언더플로 선 위에 머물게 하세요. float16으로 바꾸고, 그다음 업데이트 전에 float32에서 다시 S로 나누세요. 기울기가 살아남아요.
강좌 자체의 기록된 체크포인트가 바로 이 이유로 float16으로 저장돼 있어요: 절반 크기.
오늘날 대부분의 큰 모델은 세 번째 형식 bfloat16으로 훈련해요: float16처럼 16비트지만, float32의 범위(약 3e38까지)를 유지하고 대신 정밀도를 포기해요(유효 숫자 약 3자리). 넘침과 언더플로는 대체로 문제가 아니게 되니, 그걸로는 손실 크기 조정이 거의 필요 없어요. 대가는 반올림이고, 그래서 가중치와 업데이트는 여전히 float32로 지녀요.
이 레슨의 단어와 기호
- float16
- 16비트 숫자: 메모리 절반, 65,504를 넘으면 넘침, 아주 작은 값은 0이 돼요
- RECORDED
- 강좌가 한 번 훈련해서 공부하라고 함께 보내는 진짜 실행
to_f16(g)(float16으로 바꿨다가 다시 float32로)와 scaled_to_f16(g, S)(S를 곱하고, 바꾸고, 다시 바꾸고, S로 나누기)를 쓰세요. lost_plain과 lost_scaled를 주어진 작은 기울기 중 각 방식으로 정확히 0이 되는 비율로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.