AI 캡스톤: 여러분의 코드가 기기 내 LLM을 몰아요
이게 캡스톤이고, 여러분이 설계자예요. 과정 전체가 한 생각을 향해 쌓여 왔어요: 여러분의 Python이 모델을 지휘해요. LLM은 부르는 부품 하나일 뿐이에요 -> 모델이 어떤 데이터를 보는지, 요청이 어떤 모양인지, 모델이 불러와지지 않았을 때 무슨 일이 일어나는지는 여러분의 코드가 정해요. 그 지휘를 거의 빈 파일에서 만들 거예요.
모든 진짜 AI 기능은 같은 반복이에요. 코드가 믿을 만한 일을 하고, 모델이 표현을 해요:
- 사실은 pandas로 계산하세요. 코드는 산수에 정확하고, 모델은 아니에요. 그래서 행 수, 합계, 평균, 최고 범주는 결코 LLM이 아니라 DataFrame에서 와요. 이게 환각한 숫자를 피하는 유일한 방법이에요.
- 요청 모양은 직접 잡으세요. 다시 쓸 수 있는 프롬프트 틀이 시스템 지시(모델이 누구여야 하는지)를 사용자 메시지(무엇을 해야 하는지)와 따로 두고, 그다음 모델이 어디서 쓰기 시작할지 알도록 차례 표시로 끝나는 문자열 하나로 조립해요.
- 언제나 오프라인 경로를 두세요. 기기 내 모델은 WebGPU가 필요하고 결정적이지 않으니, 같은 사실을 문장으로 바꾸는 규칙 기반 생성기도 써요. 모델이 전혀 없어도 기능이 작동해요.
만들 것
처음부터 함수 두 개. build_prompt(system, user)는 두 부분을 모두 담고 Assistant:로 끝나는 깔끔한 문자열 하나를 돌려줘요. insight(df)는 넣어 둔 지출 표의 통계를 계산하고 가장 큰 범주와 합계를 밝히는 쉬운 말 한 줄을 돌려줘요. 작은 spend_stats(df) 도우미가 pandas 일을 해서 보고서와 통찰이 같은 숫자를 읽어요.
AI 단계 (앱에서 해 보세요)
Floati는 WebGPU 위의 WebLLM으로 모델을 클라이언트 쪽에서 돌려요 -> 계정 없음, 키 없음, 클라우드 없음, 프롬프트가 결코 컴퓨터를 떠나지 않아요. 앱은 공유 엔진 하나를 window._floatiTutor에 연결해요. build_prompt를 만들고 나면 이게 진짜 호출이에요(GPU가 필요하고 결정적이지 않으니 채점기 밖에 살아요):
// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
messages: [{ role: "user", content: prompt }],
temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);모델은 오로지 여러분의 Python이 만든 report 문자열만 본다는 걸 보세요 -> 모델이 말하기 전에 숫자는 이미 맞아요. Run을 눌러 오프라인 파이프라인이 통계와 규칙 기반 통찰을 출력하는 걸 보세요. 그 출력된 보고서가 바로 위의 모델에게 건넬 거예요. 채점기는 프롬프트 모양과 결정적인 insight를 확인하고, 모델 출력은 결코 확인하지 않아요.
지휘를 만드세요. 지출 DataFrame df가 넣어져 있어요(10행, 열 category와 amount). 세 가지를 쓰세요: (1) spend_stats(df) -> 키 rows, total, average, top_category, top_amount가 있는 dict(합계/평균은 소수점 2자리로 반올림, 최고 범주는 합친 금액으로), (2) build_prompt(system, user) -> system과 user를 모두 담고 모델이 거기서 이어 가도록 Assistant:로 끝나는 문자열 하나, (3) insight(df) -> 최고 범주를 밝히고 소수점 2자리 금액으로 TOTAL: <amount>를 보여 주는 비어 있지 않은 쉬운 말 문자열(규칙 기반 대비책). 그다음 report = insight(df)로 정하고 print(report) 하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.