기기 내 AI (클라우드 없음)
대부분의 AI 앱은 글을 회사 서버로 보내고, 서버가 모델을 돌려 답을 돌려보내요. 그건 계정, API 키, 청구서, 그리고 데이터가 컴퓨터를 떠난다는 뜻이에요. Floati는 그 모두를 거부해요.
Floati는 WebGPU 위의 WebLLM으로 AI를 브라우저나 앱 안, 클라이언트 쪽에서 돌려요. WebGPU는 웹 코드가 컴퓨터의 그래픽 카드를 쓰게 하는 브라우저 표준이고, WebLLM은 그것으로 진짜 (더 작은) 언어 모델을 로컬에서 돌려요. 모델 가중치는 한 번 내려받고, 그다음 모든 게 여러분의 기기에서 일어나요.
- 키 없음, 클라우드 없음, 청구서 없음. 가입할 것도 없어요.
- 설계부터 비공개. 프롬프트가 결코 컴퓨터를 떠나지 않으니, Floati의 오프라인 우선 약속에 맞아요.
- 솔직한 한계. 기기 내 모델은 거대한 호스팅 모델보다 작고 느리고, WebGPU를 지원하는 브라우저가 필요해요. 맞바꿈은 비공개와 비용 0이에요.
어떤 모델과 이야기하든 프롬프트로 이야기해요. 깔끔하고 다시 쓸 수 있는 습관은 시스템 지시(모델이 누구여야 하는지)를 사용자의 메시지와 따로 두고, 그다음 모델이 이어 쓸 분명한 마지막 차례와 함께 하나의 문자열로 조립하는 거예요:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"Assistant:로 끝내는 게 모델이 쓰기 시작할 곳을 알려요. 이제 그 틀을 만들 거예요. 다음 레슨은 그것으로 기기 내 모델을 실제로 불러요.
정확히 이 모양의 문자열 하나를 돌려주는 build_prompt(system, user)를 쓰세요: System: <system>, 그다음 줄바꿈, User: <user>, 줄바꿈, 그다음 뒤에 아무것도 없는 Assistant:. 그다음 prompt = build_prompt("You are concise.", "Summarize my week.")로 정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.