신경망 직관, LLM, AI 캡스톤
보기: 어텐션 가중치
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
방금 스케일드 닷 프로덕트 어텐션을 구현했어요. 그 행렬들이 실제로 무엇을 하는지 여기 있어요. 어텐션은 각 단어가 문장의 모든 단어(자기 자신 포함)를 보고, 각각이 얼마나 중요한지 점수를 매기고, 그것들의 가중 혼합으로 자신을 다시 만들게 해요.
재생을 누르세요. 단어 sat이 the cat sat에 걸쳐 주의를 기울이는 걸 보세요: 날것의 점수가 합이 1인 softmax 가중치가 되고, 가장 굵은 선이 가장 중요한 단어를 가리키고, sat이 맥락을, 대부분 cat에서 흡수해요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.