강의 계획 레슨 246개 중 206번째 · 모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

진짜 도약일까, 지표의 속임수일까?

왜 중요한가 헤드라인은 큰 모델이 어떤 크기에서 갑자기 능력을 얻는다고 해요: "창발". 가끔 도약은 진짜예요. 흔히 능력은 내내 매끄럽게 나아졌고 지표가 그걸 갑작스러워 보이게 했어요(Schaeffer, Miranda and Koyejo, 2023). 어느 쪽인지 알면 그걸 예측할 수 있는지가 정해져요.

격자는 같은 따로 떼어 둔 텍스트에서 점수 둘을 기록했어요:

  • 문자별 정확도 p: 다음 문자에 대한 모델의 최고 추측이 맞는 위치의 비율. 크기와 함께 매끄럽게 올라가요, 150만 토큰에서 0.27에서 0.53으로.
  • 5개 모두 맞음: 다음 문자 5개를 실수 없이 쓰는 위치의 비율. 전부 아니면 전무.

각 문자가 독립적으로 확률 p로 맞는다면, 연속 다섯 개는 p^5의 경우에 맞을 거예요. 먼저 그걸 격자와 대조하세요. 그다음 지수가 고르게 나아지는 기술에 무엇을 하는지 보세요. 이 작은 모델들은 전체 효과를 보일 만큼 멀리 가지 못해서, 두 번째 부분은 측정이 아니라 분명히 표시한 예시예요: 0.5에서 0.95까지 똑같은 열 걸음으로 올라가는 문자별 정확도.

이 레슨의 단어와 기호
지수 (alpha, beta)
가중치가 많아지면(alpha) 또는 데이터가 많아지면(beta) 손실이 얼마나 빨리 떨어지는지
토큰
여기서는 예측 하나: 문자 하나
창발
어떤 크기에서 갑자기 나타나는 것처럼 보이는 능력. 가끔 전부 아니면 전무인 지표가 만들어요
내 차례

pairs를 채우세요: 150만 토큰의 각 폭에 대해 (p, p^5, 잰 5개 모두 맞음). 그다음 예시에 대해 all10을 p_even의 p^10으로, late_share를 all10의 전체 상승 중 10걸음의 마지막 3걸음에서 일어나는 비율로 설정하세요. 마지막으로 case를 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.