Kostenbewuste Cascade
Dit is de kern van de hele module. Een productie LLM call is traag en kost echt geld; een gefitte classifier kost bijna niets. Dus je cascade: laat het goedkope model het overgrote deel van het verkeer met vertrouwen afhandelen, en escaleer alleen de onzekere rest naar de dure LLM. Als je het goed doet, lever je dezelfde kwaliteit voor een fractie van de rekening.
De beslissing is de drempelwaarde die je al hebt gebouwd: voor elke aanvraag heb je de waarschijnlijkheidsrij van de goedkope classifier. Als de hoogste waarschijnlijkheid een confidence threshold overschrijdt, geef dan een goedkoop antwoord; anders escaleer je. De technische vraag die je baas eigenlijk stelt is hoeveel bespaart dit?, dus je telt ook de escalaties en de kosten.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMBouw cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Voor elke rij met waarschijnlijkheid, als max(row) >= threshold wordt het goedkoop afgehandeld (het kost cheap_cost); anders wordt het geëscaleerd (het kost llm_cost). Geef {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug waar all_llm_cost wat het zou hebben gekost als elke aanvraag naar de LLM zou worden verzonden, en saved = all_llm_cost - total_cost. Een lege invoer escaleert niets en kost niets. Druk op Run om een batch verkeer te prijzen.
Schrijf cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Voor elke rij, als max(row) >= threshold wordt het goedkoop afgehandeld (kosten cheap_cost), anders wordt het geëscaleerd (kosten llm_cost). Geef {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug: escalated is het aantal geëscaleerd, escalation_rate is geëscaleerd/len (0.0 voor leeg), total_cost is de gesommeerde kosten per aanvraag, all_llm_cost = len(prob_rows) * llm_cost, en saved = all_llm_cost - total_cost.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.