강의 계획 레슨 250개 중 199번째 · LLM을 둘러싼 ML
LLM을 둘러싼 ML

비용을 아는 캐스케이드

이것이 모듈 전체의 핵심이에요. 실무 LLM 호출은 느리고 진짜 돈이 들어요. fit 된 분류기는 거의 공짜예요. 그래서 캐스케이드를 해요: 확신하는 대부분의 트래픽은 싼 모델이 맡게 하고, 불확실한 꼬리만 비싼 LLM으로 올려요. 잘하면 같은 품질을 청구서의 일부만으로 내놓아요.

결정은 이미 만든 확신 기준이에요: 요청마다 싼 분류기의 확률 행이 있어요. 최상위 확률이 확신 기준을 넘으면 싸게 답하고, 아니면 올려요. 상사가 실제로 묻는 공학적 질문은 이걸로 얼마나 아끼나요?이니, 올린 횟수와 비용도 세요.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25)를 만드세요. 각 확률 행에 대해 max(row) >= threshold면 싸게 처리되고(비용 cheap_cost), 아니면 올려져요(비용 llm_cost). {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}를 돌려주는데, all_llm_cost는 모든 요청을 LLM으로 보냈다면 들었을 비용이고, saved = all_llm_cost - total_cost예요. 빈 입력은 아무것도 올리지 않고 아무 비용도 들지 않아요. 트래픽 한 묶음의 값을 매기려면 실행을 누르세요.

내 차례

cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25)를 쓰세요. 각 행에 대해 max(row) >= threshold면 싸게 처리되고(비용 cheap_cost), 아니면 올려져요(비용 llm_cost). {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"}를 돌려주세요: escalated는 올린 개수, escalation_rate는 escalated/len(비어 있으면 0.0), total_cost는 요청별 비용의 합, all_llm_cost = len(prob_rows) * llm_cost, 그리고 saved = all_llm_cost - total_cost예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.