강의 계획 레슨 250개 중 110번째 · 신경망 직관, LLM, AI 캡스톤
신경망 직관, LLM, AI 캡스톤

LLM이란 무엇인가?

채팅 어시스턴트 뒤에 있는 것 같은 대형 언어 모델(LLM)은 본질적으로 거대한 다음 토큰 예측기예요. 용어 몇 개면 전체가 딱 맞아떨어져요.

  • 토큰. 글은 토큰이라는 조각으로 잘려요. 대략 단어나 단어 조각이에요. 모델은 날것의 문자가 아니라 토큰을 읽고 써요. 대략적인 규칙: 토큰 하나는 영어 약 네 글자예요.
  • 예측. 지금까지의 토큰이 주어지면 모델은 가능한 모든 다음 토큰에 대한 확률을 내놓아요. 하나를 고르고, 덧붙이고, 되풀이해요. 그 반복이 문단 전체를 쓰는 방법이에요.
  • 프롬프트. 먹이는 글이에요. 모델이 요청에 관해 아는 모든 건 프롬프트에 사니, 어떻게 표현하느냐가 아주 중요해요(다음 레슨들).
  • 온도. 그 고르기의 무작위성을 정하는 손잡이예요. 0 근처에서는 모델이 거의 언제나 가장 그럴듯한 토큰을 골라요(집중적, 반복적). 높은 값은 덜 그럴듯한 토큰을 뽑게 해요(더 창의적, 덜 믿을 만함). 이 강좌의 캡스톤에 있는 것 같은 로컬 모델은 여전히 이 손잡이를 받아요. 최신 호스팅 Claude 모델은 받지 않아요: 자기 샘플링을 스스로 정하고 온도 설정에는 오류로 답하니, 거기서는 프롬프트로 출력을 조종해요.
  • 환각. 사실을 찾아보는 대신 그럴듯한 글을 예측하니, LLM은 틀린 걸 완전히 자신 있게 말할 수 있어요. 주는 사실은 언제나 확인하세요.

진짜 토크나이저는 부분 단어 기반이고 데이터에서 배워요. 여기서 그걸 만들지는 않지만, 토큰 세기가 어떤 느낌인지 알도록 가장 단순한 토크나이저(공백으로 나누기)를 만들 수 있어요. 토큰 수로 사용량과 한도를 재요.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

공백으로 나누기는 느낌을 잡기 위한 대역일 뿐이에요. 진짜 토크나이저는 부분 단어 조각으로 나누니, 흔한 예산 경험 법칙은 tokens ≈ len(text) / 4 글자이고, 운영 코드는 추측하는 대신 API가 돌려주는 usage 필드(또는 전용 토큰 세기 엔드포인트)에서 정확한 개수를 읽어요.

추론 모델

위의 모든 건 답을 바로 내보내는 모델을 설명해요. 더 새로운 계열인 추론 모델은 먼저 숨겨진 "생각" 토큰 예산을 써서 문제를 한 단계씩 풀고, 그다음 최종 답을 써요. 그 추가 숙고는 어려운 여러 단계 과제(수학, 코드, 꼼꼼한 계획)에서 진짜 정확도를 사고, 흔히 다이얼이 있어요: 노력이나 생각 예산이 높을수록 생각 토큰, 지연, 비용이 많아져요. 공학적 판단은 그냥 언제 그럴 가치가 있는가예요: 정말 어려운 단계에는 추론 모델을, 일상적인 단계에는 빠르고 싼 모델을 쓰세요. 나중에 쉬운 요청은 싼 모델로 보내고 어려운 것만 올리는 비용을 아는 단계적 구조를 만들 때 바로 그 맞바꿈을 써먹을 거예요.

내 차례

간단한 공백 토크나이저를 쓰세요. tokenize(text)는 공백으로 나뉜 토큰 리스트를 돌려줘요(.split()을 쓰세요). count_tokens(text)는 그 개수를 돌려줘요. 그다음 tokens = tokenize(sample)와 n_tokens = count_tokens(sample)로 정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.