강의 계획 레슨 246개 중 143번째 · 모듈 13: 어텐션과 트랜스포머
모듈 13: 어텐션과 트랜스포머

어텐션이 병목을 고쳐요

왜 중요한가 어텐션은 2014년에, 모듈 11에서 잰 바로 그 문제를 고치려고 발명됐어요: 문장 전체를 벡터 하나로 짜 넣는 인코더.

기록된 seq2seq-bottleneck 실험에서 어텐션 모델의 디코더는 매 걸음 인코더의 모든 은닉 상태에 걸쳐 어텐션해요(그 query는 디코더 자신의 상태예요). 더는 마지막 벡터 하나에 기대지 않고, 필요한 숫자를 바로 되돌아볼 수 있어요.

예측하세요: 평범한 모델이 숫자의 약 59%를 맞힌 길이 16에서, 어텐션 모델은 몇을 받을까요?

이 레슨의 단어와 기호
query, key, value
위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
어텐션
query-key 점수의 softmax로 value를 평균 내기
내 차례

my_guess를 0과 1 사이의 숫자로 설정하세요: 길이 16에서 어텐션 모델의 숫자 정확도에 대한 추측. acc를 채우세요: 두 모델과 네 길이 모두에 대해 (model, length)에서 시드 둘의 평균 숫자 정확도로. 그리고 gain_at_16도요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.