강의 계획 레슨 250개 중 108번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

보기: 어텐션 가중치

방금 스케일드 닷 프로덕트 어텐션을 구현했어요. 그 행렬들이 실제로 무엇을 하는지 여기 있어요. 어텐션은 각 단어가 문장의 모든 단어(자기 자신 포함)를 보고, 각각이 얼마나 중요한지 점수를 매기고, 그것들의 가중 혼합으로 자신을 다시 만들게 해요.

재생을 누르세요. 단어 sat이 the cat sat에 걸쳐 주의를 기울이는 걸 보세요: 날것의 점수가 합이 1인 softmax 가중치가 되고, 가장 굵은 선이 가장 중요한 단어를 가리키고, sat이 맥락을, 대부분 cat에서 흡수해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.