토큰: 가장 흔한 쌍 합치기
왜 중요한가 진짜 모델은 문자도, 단어 전체도 읽지 않아요. 단순한 세기 규칙으로 만든 그 사이의 조각, 토큰을 읽어요. 그래서 모델이 흔한 단어는 조각 하나로, 드문 단어는 여러 조각으로 "봐요".
바이트 쌍 인코딩(BPE)은 단일 문자로 시작해서 한 단계를 되풀이해요: 텍스트에서 가장 자주 나오는 이웃 기호 쌍을 찾아서, 어디서든 새 기호 하나로 붙이세요.
작은 예시
단어 "low"(5번)와 "lot"(2번). 쌍: l o가 7번, o w가 5번, o t가 2번 나와요. l o를 합치면: 이제 "lo w"와 "lo t". 다음으로 lo w가 5번 나와요: 그걸 합치면 "low"가 토큰 하나예요.
진짜 토크나이저는 이 레슨이 빼놓은 두 가지를 더해요. 문자가 아니라 바이트에서 시작해서, 이모지를 포함해 어떤 언어의 어떤 텍스트든 256개 기호의 시작으로 쓸 수 있어요. 그리고 단어가 시작하는 곳을 표시해서(GPT-2는 공백을 다음 단어 앞에 붙여요), 단어 시작의 조각과 단어 안의 같은 글자가 서로 다른 토큰이 돼요. 단어당 문자 수는 문자 단위로 읽는 비용이에요. 단어당 토큰 수는 합치기를 더할수록 떨어져요: 모델에게는 더 적고 더 큰 걸음, 대가는 더 큰 어휘.
이 레슨의 단어와 기호
- 토큰, BPE
- 모델이 읽는 텍스트 조각. 바이트 쌍 인코딩은 가장 흔한 이웃 쌍을 거듭 붙여요
pair_counts(vocab)(각 이웃 쌍이 단어 수로 가중해서 얼마나 자주 나오는지)와 merge(vocab, pair)(그 쌍을 어디서든 붙이기)를 쓰세요. 200번 합친 뒤의 단어당 토큰 수 my_guess를 추측하세요(약 4.6에서 시작해요). 반복문은 써 두었어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.