기기 안 모델
왜 중요한가 기기 안 모델은 여러분의 말이 컴퓨터나 휴대폰을 떠나지 않고 답해요. 그러면 "데이터를 믿고 맡겨 주세요"가 "우리는 데이터를 가진 적이 없어요"로 바뀌어요. CV Builder의 AI 다듬기와 이 강좌의 튜터가 그렇게 작동하고, 직접 확인할 수 있어요.
여러분 부엌의 요리사
클라우드 AI는 식당 같아요: 주문을 웨이터에게 건네고 요리는 보이지 않는 곳에서 일어나요. 기기 안 모델은 요리사가 여러분 부엌에 오는 것과 같아요. 요리사는 한 번 와야 하지만(그게 내려받기예요), 그 뒤로 모든 식사는 집에서 요리되고, 무엇을 먹는지 아무도 보지 않아요.
모델: 숫자로 된 큰 파일(가중치라고 해요)과, 그걸 써서 글의 다음 단어를 예측하는 코드. "모델을 돌린다"는 그 숫자들로 계산을 많이 한다는 뜻이에요.
기기 안 모델: 가중치를 기기에 내려받아 거기서 여러분 자신의 프로세서나 그래픽 칩으로 돌리는 모델. 프롬프트와 답은 기기에 머물러요.
브라우저에서 작동하는 방식
Floati는 웹 페이지 안에서 언어 모델을 돌리는 오픈 소스 라이브러리 WebLLM을 써요. 세 조각이 그걸 작동하게 해요:
- WebGPU, 페이지가 빠른 계산을 위해 그래픽 칩(GPU)을 쓰게 해 주는 브라우저 기능. 언어 모델에는 계산이 많이 필요하니, 이게 탭 안에서 쓸 만하게 만들어요.
- 작고 압축된 모델. 강좌 튜터와 CV Builder는 브라우저에 맞게 압축한, 약 5억 매개변수의 작은 지시 따르기 모델을 써요(2026년 10월 확인).
- 브라우저의 캐시, 내려받은 가중치를 지녀서 다음 방문이 훨씬 빨리 시작하게 해요.
매개변수: 모델 안의 개별 숫자들. 매개변수가 많을수록 보통 더 유능한 모델이고, 내려받을 것도 커요.
양자화: 각 숫자를 더 적은 비트로 저장하는 것(예를 들어 16이나 32 대신 4비트). 사진을 낮은 화질로 저장하는 것처럼: 훨씬 작고, 조금 덜 선명해요.
네트워크로 오가는 것
여기서는 정직이 중요해요. 기기 안 모델을 쓴다고 "네트워크가 전혀 없는" 건 아니에요. 두 가지를 내려받아요:
- 모델을 돌리는 라이브러리 코드.
- 모델 가중치, 수백 메가바이트로, 한 번 내려받고 캐시돼요.
둘 다 여러분에게 오는 내려받기예요. 결코 보내지지 않는 건 여러분 쪽이에요: 묻는 질문과 붙여 넣는 글. 가중치를 호스팅하는 서버는 다른 파일을 내려받을 때처럼 누군가 모델을 내려받았다는 건 알지만, 대화는 결코 보지 못해요.
맞바꿈
| 클라우드 모델 | 기기 안 모델 | |
|---|---|---|
| 누가 글을 보나 | 제공자 | 여러분 기기만 |
| 품질 | 보통 훨씬 강함 | 작고 초점이 맞는 일에 좋음 |
| 처음 사용 | 즉시 | 한 번의 큰 내려받기 |
| 필요한 것 | 인터넷 연결 | WebGPU가 있는 브라우저와 충분한 메모리 |
| 오프라인 작동 | 아니요 | 예, 한 번 내려받으면 |
WebGPU는 현재 데스크톱 버전의 Chrome, Edge, Safari와, 일부 시스템의 Firefox에서 쓸 수 있어요(2026년 10월 확인). 오래되거나 메모리가 적은 기기에서는 모델이 아예 안 불러와질 수 있고, 그래서 Floati의 CV Builder에는 모델이 필요 없는 간단한 규칙 기반 제안기도 있어요. 차이를 분명히 하세요: 그 제안기는 Floati 자체 서버에서 돌아서 CV 글이 거기로 보내지지만, AI 회사로는 결코 가지 않아요.
흔한 오해
"작은 모델은 쓸모없다." 5억 매개변수 모델은 소설을 써 주지는 않지만, 좁은 일에는 좋아요: 문장 바꿔 쓰기, 힌트 주기, 문단 요약. 많은 비공개 작업에는 작은 로컬 모델이 맞는 도구이고, 거대한 클라우드 모델은 데이터를 대가로 치르는 과잉이에요.
해 보기 튜터가 있는 레슨을 열고 브라우저의 DevTools(F12, Mac에서는 Cmd+Option+I)를 연 다음 Network 탭을 여세요. 튜터를 시작하세요: 모델을 위한 큰 내려받기가 보일 거예요. 불러와지면 목록을 지우고 튜터에게 질문하세요. 목록을 보세요: 작은 페이지 카운터는 보일 수 있지만, 질문이나 코드를 나르는 요청은 없어요.
요약
- 기기 안 모델은 여러분 자신의 하드웨어에서 도니, 프롬프트와 답은 결코 기기를 떠나지 않아요.
- 브라우저에서는 WebGPU, 작은 양자화 모델, 캐시를 써요. Floati의 튜터와 CV Builder는 이렇게 WebLLM을 써요.
- 코드와 가중치는 한 번 여러분에게 내려받아지고, 글은 결코 올라가지 않아요.
- 대가는 낮은 품질, 큰 첫 내려받기, 기기 요구 사항이에요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.