모든 강좌 무료 · 계정 없음 · 브라우저에서

신경망: 뉴런에서 트랜스포머까지

뉴런 하나에서 트랜스포머까지 신경망을 직접 만들고, 그다음 생성 모델, 확산, 스케일링 법칙, 모델 속 들여다보기까지, 평범한 Python과 NumPy로, 브라우저에서 훈련해요. 자기만의 autograd를 쓰고, 망가진 실행을 진단하고, 주장을 증거로 판단하고, 다시 재생할 수 있는 캡스톤으로 마무리해요. 무료, 계정 필요 없음.

모듈 25개 레슨 246개 자동 채점 연습 246개 자기 속도로 · 약 143시간 분량 브라우저에서 훈련, GPU 필요 없음곡선을 예측하고, 그다음 실행
나의 진행 상황 연습 246개 중 0개 완료
하루 목표
모듈 1 · 60분

모듈 0: 출발선

할 수 있게 될 것: 강좌가 어떻게 돌아가고 무엇을 재는지 말하기, 예측을 하고 실행과 대조해 확인하기, 네 개의 다이얼에 출발 점수 기록하기, 기기의 속도를 FLOP으로 재기.

구간 7개 중 1번째 · 네트워크 층 출발선 이 구간의 연습 5개를 모두 통과하면 그 층을 얻어요.
모듈 3 · 약 7시간

모듈 2: 수학과 확률, 필요한 만큼만

할 수 있게 될 것: 내적, 행렬 곱셈, 브로드캐스트 계산하기, 살짝 밀기와 연쇄 법칙으로 숫자와 행렬 전체에 대한 기울기 찾기, 퍼짐이 어떻게 더해지는지와 고윳값이 무엇을 하는지 설명하기, softmax 기울기 유도하기, 결코 넘치지 않는 log-sum-exp, softmax, 교차 엔트로피 쓰기(관문).

구간 7개 중 2번째 · 네트워크 층 기초 이 구간의 연습 3개를 모두 통과하면 그 층을 얻어요.
구간 7개 중 3번째 · 네트워크 층 훈련이 되게 하기 이 구간의 연습 40개를 모두 통과하면 그 층을 얻어요.
모듈 14 · 약 10시간

모듈 13: 어텐션과 트랜스포머

할 수 있게 될 것: 어텐션, 인과 마스크, 헤드, 위치, 층 정규화, 그리고 진짜 모델과 맞는 블록 전체 만들기, 어텐션의 역방향 단계 유도하기, 작은 GPT 훈련하기, 기록된 실행 읽기, 캐시로 생성하기, 자기 엔진을 PyTorch에 대응시키기, 망가진 트랜스포머 고치기(관문).

구간 7개 중 4번째 · 네트워크 층 구조를 위한 아키텍처 이 구간의 연습 56개를 모두 통과하면 그 층을 얻어요.
모듈 16 · 약 5시간

모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

할 수 있게 될 것: 숫자를 숫자 몇 개로 짜 넣고 다시 만들기, 왜 오토인코더가 새 숫자를 만들 수 없는지 측정으로 말하기, 두 종 모양 곡선 사이의 KL과 ELBO 계산하기, 그걸 거쳐 훈련할 수 있는 방식으로 샘플링하기, 새 숫자를 만드는 VAE 훈련하기, 숫자 사이를 걷기, 무너진 VAE를 혼자 진단하고 고치기(관문).

모듈 17 · 약 4시간

모듈 16: 게임 속의 두 신경망(GAN, 선택)

선택 모듈이고, 수료증에 필요하지 않아요. 할 수 있게 될 것: GAN 손실을 쓰고 그 기울기로 포화 손실이 언제 멈추는지 말하기, 덩어리 여덟 개에서 GAN을 훈련하고 그 덮음을 판단하기, 모드 붕괴를 일으키기, 기록된 시드에 걸쳐 안정화 요령을 시험하고 무엇이 도움이 됐는지 보고하기, 합성곱 생성기 실행하기, 망가진 GAN을 혼자 구하기(관문).

모듈 18 · 약 8시간

모듈 17: 잡음을 넣으면 그림이 나와요(확산)

할 수 있게 될 것: 스케줄에 따라 한 걸음씩, 그리고 한 번에 뛰어서 잡음 더하기, 신경망의 화살표를 데이터로 되짚어 읽기, 잡음 예측기 훈련하기, DDPM으로 샘플링하고 왜 깨끗한 추정값을 자르는지 말하기, 잡음 스케줄과 시간 입력을 측정으로 비교하기, U-Net 만들기, DDIM으로 더 적은 걸음에 샘플링하기, classifier-free guidance로 샘플 조종하기, 훈련된 모델 미세 조정하기, 새 모양을 혼자 맞추기(관문).

모듈 19 · 약 6시간

모듈 18: 레이블 없이 배우기

할 수 있게 될 것: 최근접 이웃 일치와 직접 쓴 선형 프로브로 특성 판단하기, 마스크 예측으로 사전 훈련하기, InfoNCE를 쓰고 왜 그게 교차 엔트로피인지 말하기, SimCLR로 사전 훈련하고 그 증강이 무엇을 정하는지 읽기, 캡션을 그림에 맞추기(선택), 모델이 본 적 없는 물체에서 특성을 혼자 시험하기(관문).

구간 7개 중 5번째 · 네트워크 층 무언가를 만드는 신경망 이 구간의 연습 26개를 모두 통과하면 그 층을 얻어요.
모듈 20 · 약 5시간

모듈 19: 더 크게, 그리고 얼마나 더 나은가(스케일링 법칙)

할 수 있게 될 것: 훈련 실행의 비용을 FLOP으로 매기기, 바닥과 오차 막대가 있는 거듭제곱 법칙 맞추기, 가중치와 데이터 중 무엇이 실행을 제한하는지 읽기, 고정된 예산에 맞는 최선의 모델 크기 계획하기, 더 큰 실행을 예측하고 확인하기, 진짜 도약과 그걸 만들어 내는 지표 구별하기, 실행을 혼자 계획하기(관문).

모듈 21 · 약 5시간

모듈 20: 훈련된 모델을 싸게 적응시키기

할 수 있게 될 것: 파국적 망각 보여 주기, LoRA를 세고, 만들고, 기울기 검사하기, 측정으로 그 랭크 고르기, 망가뜨리지 않고 자기 텍스트로 모델을 미세 조정하기, 증류가 언제 도움이 되는지 말하기, 가중치를 양자화하고 비용 예측하기, DPO로 선호를 조정하고 제때 멈추기, 상황에 맞는 방법 고르기, 예산 안에서 혼자 적응 목표 맞추기(관문).

모듈 22 · 약 8시간

모듈 21: 모델 안 들여다보기

할 수 있게 될 것: 모델 내부에 대한 증거가 패턴인지, 효과인지, 메커니즘인지 말하기, 대조군과 함께 프로브 돌리기, 활성화를 패치해서 정보가 어디 있는지 찾기, 부분을 없애고 대체를 확인하기, 교과서 메커니즘을 눈앞의 모델에서 시험하기, 장난감에서 중첩 보여 주기, 희소 오토인코더를 훈련하고 본 적 없는 텍스트에서 특성 이름표 시험하기, 기록된 실행에서 그로킹을 읽고 그 파동을 없애서 확인하기, 새 입력에서 정보가 어디 있는지 혼자 찾기(관문).

모듈 23 · 약 5시간

모듈 22: 주장 판단하기

할 수 있게 될 것: 겹침으로 새어 나간 테스트 세트를 찾고 깨끗한 점수 보고하기, 평균 손실을 중요한 부분에 따라 나누기, 0 제거와 평균 제거가 어떻게 다른지 말하고 방법을 보고하기, 표준 오차로 시드 하나짜리 차이와 잰 차이를 구별하기, 새 시드에서 결과를 재현하고 그게 성립하기를 멈추는 설정 찾기, 주장을 혼자 검토하기(관문).

구간 7개 중 6번째 · 네트워크 층 규모를 키우고 이해하기 이 구간의 연습 36개를 모두 통과하면 그 층을 얻어요.
모듈 24 · 약 7시간

모듈 23: 캡스톤 스튜디오: 실행할 수 있는 모델 카드

할 수 있게 될 것: FLOP 예산으로 프로젝트 계획하기, 시드에 걸쳐 기준선을 예측하고 돌리기, 오차 막대로 변경 판단하기, 기울기 검사로 여전히 훈련되는 버그 찾기, 훈련하지 않은 대조군에 맞서 모델 안에서 발견하기, 숨겨진 세트에서 오차 막대와 함께 한 번 평가하기, 모든 숫자가 실행 기록과 맞는 모델 카드 쓰기, 실행이 재생되는 오프라인 파일 하나 내보내기.

모듈 25 · 50분

모듈 24: 기말 시험과 재시험

할 수 있게 될 것: AI를 끈 채 2부가 가르친 것을 네 다이얼 모두에서 보여 주기(C형), 출발선부터 2부 끝까지의 다이얼 비교하기, 한 달 뒤에 무엇이 남았는지 확인하기(D형, 선택).

구간 7개 중 7번째 · 네트워크 층 캡스톤과 증명 이 구간의 연습 10개를 모두 통과하면 그 층을 얻어요.