빠르게 생성하기: key-value 캐시
왜 중요한가 챗봇은 한 번에 토큰 하나씩 써요. 순진하게 하면 새 토큰마다 지금까지의 텍스트 전체의 key와 value를 다시 계산해요. key-value 캐시가 답이 빠르게 흘러나오는 이유예요.
보기
애니메이션을 재생하세요. 인과 마스크가 있으면 앞 위치의 key와 value는 새 토큰이 와도 결코 바뀌지 않아요. 그러니 지니세요: 새 토큰마다 자기 q, k, v만 계산하고, k와 v를 캐시에 덧붙이고, q로 캐시된 key에 걸쳐 어텐션하세요.
새 토큰당 일: 순진한 방법은 길이 t인 텍스트에 대해 key와 value를 t개 계산하고, 캐시는 1개를 계산해요. 1,000토큰짜리 답에 걸쳐 그건 key 계산 약 500,000번 대 1,000번이에요.
이 레슨의 단어와 기호
- query, key, value
- 위치가 찾는 것, 각 위치가 맞춰지려고 내놓는 것, 그게 건네주는 것
- 어텐션
- query-key 점수의 softmax로 value를 평균 내기
- 셀프 어텐션
- 모든 위치가 같은 텍스트의 위치들에 어텐션해요
- 인과 마스크
- 대각선 위의 점수를 마이너스 무한대로: 어떤 위치도 미래를 보지 않아요
- key-value 캐시
- 앞의 key와 value를 지녀서 새 토큰마다 한 걸음만 들게 하기
cached_step(x, cache, Wq, Wk, Wv)를 쓰세요: x는 새 행 하나예요. 그 key와 value를 cache["K"]와 cache["V"](리스트)에 덧붙이고, 캐시된 모든 위치에 걸친 그 어텐션 출력을 반환하세요. X의 행을 하나씩 넣으면 인과 셀프 어텐션을 정확히 재현해야 해요. keys_naive와 keys_cached를 설정하세요: 토큰 1,000개를 만들려고 각 방법이 계산하는 key 벡터 수.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.