신경망 직관, LLM, AI 캡스톤
보기: 글은 어떻게 숫자가 되나
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
LLM이 프롬프트로 무엇이든 하기 전에, 글을 숫자로 바꿔야 해요. 신경망은 숫자에 대해서만 수학을 하거든요. 그걸 하는 단계가 토큰화예요.
재생을 누르세요. 단어 하나가 토큰(흔한 글 덩어리, 흔히 단어 전체가 아니라 부분 단어)으로 나뉘고, 각 토큰이 모델 어휘의 정수 id가 되는 걸 보세요. 그 뒤로 모델은 결코 글자를 다시 보지 않고, id 리스트만 봐요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.