강의 계획 레슨 246개 중 158번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

관문: 망가진 트랜스포머(AI 끄기)

왜 중요한가 이건 강좌 엔진으로 쓴 GPT 순방향 단계 전체이고, 결함이 둘 있어요. 둘 다 고전적이고, 각각 혼자서도 진짜 팀들을 속였어요.

AI 튜터는 꺼져 있어요. 결함 하나는 모델이 예측해야 할 문자를 보게 해요. 다른 하나는 더미를 훨씬 훈련하기 어렵게 해요. 둘 다 찾아서 고치세요.

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
헤드
나란히 돌리는 H개의 더 좁은 어텐션 중 하나, 각각 자기 패턴
내 차례

logits를 고치세요. 문자를 바꿔도 앞 위치에 대한 어떤 예측도 바뀌면 안 되고, 200걸음 뒤에 마지막 20걸음에 걸친 평균 손실이 2.65 아래여야 해요.

AI 끔: 이 문제에는 튜터도, 힌트도, 풀이도 없어요. 내 생각만으로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.