신경망: 뉴런에서 트랜스포머까지
뉴런 하나에서 트랜스포머까지 신경망을 직접 만들고, 그다음 생성 모델, 확산, 스케일링 법칙, 모델 속 들여다보기까지, 평범한 Python과 NumPy로, 브라우저에서 훈련해요. 자기만의 autograd를 쓰고, 망가진 실행을 진단하고, 주장을 증거로 판단하고, 다시 재생할 수 있는 캡스톤으로 마무리해요. 무료, 계정 필요 없음.
이 탭에 진짜 Python과 NumPy가 준비됐어요.
설치도, 계정도, 설정도 없어요. 이 강좌의 모든 네트워크는 내 기기에서 훈련되고, 내가 쓴 것은 아무것도 기기를 떠나지 않아요. 모듈 1은 필요한 Python과 NumPy를 다시 다져요. 이미 익숙한가요? 마지막 레슨은 먼저 볼 수 있는 짧은 관문이에요: 통과하면 강좌가 바로 다음으로 넘겨 줘요.
매일 복습
간격 반복이 배운 것이 희미해지지 않게 지켜 줘요.
모듈 0: 출발선
할 수 있게 될 것: 강좌가 어떻게 돌아가고 무엇을 재는지 말하기, 예측을 하고 실행과 대조해 확인하기, 네 개의 다이얼에 출발 점수 기록하기, 기기의 속도를 FLOP으로 재기.
모듈 1: 이 강좌를 위한 Python
할 수 있게 될 것: 리스트와 딕셔너리에 대한 함수를 쓰고 테스트하기, 반복문 대신 NumPy 배열, 모양, 슬라이싱, 브로드캐스팅 쓰기, 재현할 수 있게 무작위성에 시드 주기, 작은 클래스와 클로저 쓰기. Python 관문으로 확인해요(이미 능숙한가요? 먼저 보세요: 통과하면 모듈을 건너뛰어요).
모듈 2: 수학과 확률, 필요한 만큼만
할 수 있게 될 것: 내적, 행렬 곱셈, 브로드캐스트 계산하기, 살짝 밀기와 연쇄 법칙으로 숫자와 행렬 전체에 대한 기울기 찾기, 퍼짐이 어떻게 더해지는지와 고윳값이 무엇을 하는지 설명하기, softmax 기울기 유도하기, 결코 넘치지 않는 log-sum-exp, softmax, 교차 엔트로피 쓰기(관문).
모듈 3: 뉴런에서 MLP까지
할 수 있게 될 것: NumPy로 뉴런, 활성화, 2층 신경망 만들기, 역전파를 손으로 유도하고 기울기 검사기로 확인하기, 숫자 판독기를 95% 넘게 훈련하기, 새 데이터셋을 위한 자기 신경망을 만들고 훈련하기(관문).
모듈 4: 자기만의 autograd 엔진
할 수 있게 될 것: 역방향 모드 autograd 엔진 만들기(그래프, 위상 순서, 역방향 규칙, 브로드캐스팅, 축소), 그걸 살짝 밀기와 대조하기, 손으로 쓴 기울기 없이 그 위에서 신경망 훈련하기, 새 연산을 혼자 더하기(관문).
모듈 5: 최적화
할 수 있게 될 것: 늘어난 지형이 왜 느린지 설명하기, 미니배치 SGD, 모멘텀, RMSProp, Adam, AdamW, 스케줄, 클리핑 만들기, 본 적 없는 문제에 대해 예산 안에서 옵티마이저를 고르고 조정하기(관문).
모듈 6: 시작 가중치와 정규화
할 수 있게 될 것: 깊이를 지나는 신호를 재고 Xavier, LeCun, He 척도를 고르기, 죽은 유닛 찾기, BatchNorm 순방향과 역방향, LayerNorm, RMSNorm 만들기, 훈련/평가 덫 피하기, 깊은 신경망에서 지름길 쓰기.
모듈 7: 새 데이터에서 작업하기
할 수 있게 될 것: 과적합과 과소적합, 편향과 분산 재기, 가중치 감쇠, 드롭아웃, 증강, 조기 종료 쓰기, 이중 하강과 학습 곡선을 정직하게 읽기, 검증 데이터로 모델을 조정하고 따로 떼어 둔 데이터로 보고하기(관문).
모듈 8: 실행 클리닉 I
할 수 있게 될 것: 어떤 훈련 실행에든 첫 확인 둘을 하기, 있을 법한 결함을 가르는 프로브 고르기, 예산 안에서 작은 변경으로 망가진 실행을 진단하고 고치기(관문), AI 도우미의 진단을 증거로 판단하기.
모듈 9: 정말 더 나은가?
할 수 있게 될 것: 누출 없이 데이터 나누기, 정밀도와 재현율 쓰기, 시드에 걸친 퍼짐 재기, 점수에 부트스트랩 오차 막대 붙이기, 보정 재기, 짝지은 구간으로 두 모델을 비교하고 판정 내리기(관문).
모듈 10: 보는 신경망(CNN)
할 수 있게 될 것: 합성곱, 패딩, 풀링과 그 기울기, im2col 만들기, 강좌 엔진에서 CNN 훈련하기, 시드에 걸쳐 기록된 실행 읽기, 현저성을 기준선과 대조해 시험하기, 전이 쓰기, 가중치 예산 안에서 CNN 설계하기(관문).
모듈 11: 기억하는 신경망(RNN)
할 수 있게 될 것: RNN과 문자 모델 만들기, 시간을 거슬러 가는 역전파 유도하기, 기울기 소실 재기, LSTM 게이트 만들기, 기록된 기억과 병목 실험 읽기, 온도로 샘플링하기, 망가진 순환 모델 고치기(관문).
모듈 12: 숫자로서의 단어(임베딩)
할 수 있게 될 것: 임베딩을 찾아보기로 다루기, 쌍을 합치는 토크나이저 만들기, 세기와 skip-gram으로 단어 벡터 만들기, 그것들이 베낀 치우침을 재고 없애기, 본 적 없는 세계에서 그 모두를 혼자 하기(관문).
모듈 13: 어텐션과 트랜스포머
할 수 있게 될 것: 어텐션, 인과 마스크, 헤드, 위치, 층 정규화, 그리고 진짜 모델과 맞는 블록 전체 만들기, 어텐션의 역방향 단계 유도하기, 작은 GPT 훈련하기, 기록된 실행 읽기, 캐시로 생성하기, 자기 엔진을 PyTorch에 대응시키기, 망가진 트랜스포머 고치기(관문).
모듈 14: 실행 클리닉 II
할 수 있게 될 것: 멋져 보이는 속임수, 멈춤, 걸음 크기, 샘플링 결함을 포함해 망가진 시퀀스 모델 진단하기, 실패한 기록된 실행 읽기, AI 도우미를 증거로 판단하기, 예산 안에서 혼자 진단하기(관문), 졸업 시험을 기준 시험과 비교하기.
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
할 수 있게 될 것: 숫자를 숫자 몇 개로 짜 넣고 다시 만들기, 왜 오토인코더가 새 숫자를 만들 수 없는지 측정으로 말하기, 두 종 모양 곡선 사이의 KL과 ELBO 계산하기, 그걸 거쳐 훈련할 수 있는 방식으로 샘플링하기, 새 숫자를 만드는 VAE 훈련하기, 숫자 사이를 걷기, 무너진 VAE를 혼자 진단하고 고치기(관문).
모듈 16: 게임 속의 두 신경망(GAN, 선택)
선택 모듈이고, 수료증에 필요하지 않아요. 할 수 있게 될 것: GAN 손실을 쓰고 그 기울기로 포화 손실이 언제 멈추는지 말하기, 덩어리 여덟 개에서 GAN을 훈련하고 그 덮음을 판단하기, 모드 붕괴를 일으키기, 기록된 시드에 걸쳐 안정화 요령을 시험하고 무엇이 도움이 됐는지 보고하기, 합성곱 생성기 실행하기, 망가진 GAN을 혼자 구하기(관문).
모듈 17: 잡음을 넣으면 그림이 나와요(확산)
할 수 있게 될 것: 스케줄에 따라 한 걸음씩, 그리고 한 번에 뛰어서 잡음 더하기, 신경망의 화살표를 데이터로 되짚어 읽기, 잡음 예측기 훈련하기, DDPM으로 샘플링하고 왜 깨끗한 추정값을 자르는지 말하기, 잡음 스케줄과 시간 입력을 측정으로 비교하기, U-Net 만들기, DDIM으로 더 적은 걸음에 샘플링하기, classifier-free guidance로 샘플 조종하기, 훈련된 모델 미세 조정하기, 새 모양을 혼자 맞추기(관문).
모듈 18: 레이블 없이 배우기
할 수 있게 될 것: 최근접 이웃 일치와 직접 쓴 선형 프로브로 특성 판단하기, 마스크 예측으로 사전 훈련하기, InfoNCE를 쓰고 왜 그게 교차 엔트로피인지 말하기, SimCLR로 사전 훈련하고 그 증강이 무엇을 정하는지 읽기, 캡션을 그림에 맞추기(선택), 모델이 본 적 없는 물체에서 특성을 혼자 시험하기(관문).
모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)
할 수 있게 될 것: 훈련 실행의 비용을 FLOP으로 매기기, 바닥과 오차 막대가 있는 거듭제곱 법칙 맞추기, 가중치와 데이터 중 무엇이 실행을 제한하는지 읽기, 고정된 예산에 맞는 최선의 모델 크기 계획하기, 더 큰 실행을 예측하고 확인하기, 진짜 도약과 그걸 만들어 내는 지표 구별하기, 실행을 혼자 계획하기(관문).
모듈 20: 훈련된 모델을 싸게 적응시키기
할 수 있게 될 것: 파국적 망각 보여 주기, LoRA를 세고, 만들고, 기울기 검사하기, 측정으로 그 랭크 고르기, 망가뜨리지 않고 자기 텍스트로 모델을 미세 조정하기, 증류가 언제 도움이 되는지 말하기, 가중치를 양자화하고 비용 예측하기, DPO로 선호를 조정하고 제때 멈추기, 상황에 맞는 방법 고르기, 예산 안에서 혼자 적응 목표 맞추기(관문).
모듈 21: 모델 안 들여다보기
할 수 있게 될 것: 모델 내부에 대한 증거가 패턴인지, 효과인지, 메커니즘인지 말하기, 대조군과 함께 프로브 돌리기, 활성화를 패치해서 정보가 어디 있는지 찾기, 부분을 없애고 대체를 확인하기, 교과서 메커니즘을 눈앞의 모델에서 시험하기, 장난감에서 중첩 보여 주기, 희소 오토인코더를 훈련하고 본 적 없는 텍스트에서 특성 이름표 시험하기, 기록된 실행에서 그로킹을 읽고 그 파동을 없애서 확인하기, 새 입력에서 정보가 어디 있는지 혼자 찾기(관문).
모듈 22: 주장 판단하기
할 수 있게 될 것: 겹침으로 새어 나간 테스트 세트를 찾고 깨끗한 점수 보고하기, 평균 손실을 중요한 부분에 따라 나누기, 0 제거와 평균 제거가 어떻게 다른지 말하고 방법을 보고하기, 표준 오차로 시드 하나짜리 차이와 잰 차이를 구별하기, 새 시드에서 결과를 재현하고 그게 성립하기를 멈추는 설정 찾기, 주장을 혼자 검토하기(관문).
모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드
할 수 있게 될 것: FLOP 예산으로 프로젝트 계획하기, 시드에 걸쳐 기준선을 예측하고 돌리기, 오차 막대로 변경 판단하기, 기울기 검사로 여전히 훈련되는 버그 찾기, 훈련하지 않은 대조군에 맞서 모델 안에서 발견하기, 숨겨진 세트에서 오차 막대와 함께 한 번 평가하기, 모든 숫자가 실행 기록과 맞는 모델 카드 쓰기, 실행이 재생되는 오프라인 파일 하나 내보내기.
모듈 24: 기말 시험과 재시험
할 수 있게 될 것: AI를 끈 채 2부가 가르친 것을 네 다이얼 모두에서 보여 주기(C형), 출발선부터 2부 끝까지의 다이얼 비교하기, 한 달 뒤에 무엇이 남았는지 확인하기(D형, 선택).
이것들은 나만 인쇄하거나 저장할 수 있어요. 링크는 이 브라우저에 저장돼요. 누군가에게 보여 주려면 수료증의 확인 링크를 공유하세요.