강의 계획 레슨 250개 중 109번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

보기: 글은 어떻게 숫자가 되나

LLM이 프롬프트로 무엇이든 하기 전에, 글을 숫자로 바꿔야 해요. 신경망은 숫자에 대해서만 수학을 하거든요. 그걸 하는 단계가 토큰화예요.

재생을 누르세요. 단어 하나가 토큰(흔한 글 덩어리, 흔히 단어 전체가 아니라 부분 단어)으로 나뉘고, 각 토큰이 모델 어휘의 정수 id가 되는 걸 보세요. 그 뒤로 모델은 결코 글자를 다시 보지 않고, id 리스트만 봐요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.