모듈 13: 어텐션과 트랜스포머
어텐션이 병목을 고쳐요
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 어텐션은 2014년에, 모듈 11에서 잰 바로 그 문제를 고치려고 발명됐어요: 문장 전체를 벡터 하나로 짜 넣는 인코더.
기록된 seq2seq-bottleneck 실험에서 어텐션 모델의 디코더는 매 걸음 인코더의 모든 은닉 상태에 걸쳐 어텐션해요(그 query는 디코더 자신의 상태예요). 더는 마지막 벡터 하나에 기대지 않고, 필요한 숫자를 바로 되돌아볼 수 있어요.
예측하세요: 평범한 모델이 숫자의 약 59%를 맞힌 길이 16에서, 어텐션 모델은 몇을 받을까요?
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
내 차례
my_guess를 0과 1 사이의 숫자로 설정하세요: 길이 16에서 어텐션 모델의 숫자 정확도에 대한 추측. acc를 채우세요: 두 모델과 네 길이 모두에 대해 (model, length)에서 시드 둘의 평균 숫자 정확도로. 그리고 gain_at_16도요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.