Programma Les 199 van 250 · De ML rondom de LLM
De ML rondom de LLM

Kostenbewuste Cascade

Dit is de kern van de hele module. Een productie LLM call is traag en kost echt geld; een gefitte classifier kost bijna niets. Dus je cascade: laat het goedkope model het overgrote deel van het verkeer met vertrouwen afhandelen, en escaleer alleen de onzekere rest naar de dure LLM. Als je het goed doet, lever je dezelfde kwaliteit voor een fractie van de rekening.

De beslissing is de drempelwaarde die je al hebt gebouwd: voor elke aanvraag heb je de waarschijnlijkheidsrij van de goedkope classifier. Als de hoogste waarschijnlijkheid een confidence threshold overschrijdt, geef dan een goedkoop antwoord; anders escaleer je. De technische vraag die je baas eigenlijk stelt is hoeveel bespaart dit?, dus je telt ook de escalaties en de kosten.

row = [0.9, 0.05, 0.05]   # confident  -> handle cheaply
row = [0.4, 0.35, 0.25]   # uncertain  -> escalate to the LLM

Bouw cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Voor elke rij met waarschijnlijkheid, als max(row) >= threshold wordt het goedkoop afgehandeld (het kost cheap_cost); anders wordt het geëscaleerd (het kost llm_cost). Geef {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug waar all_llm_cost wat het zou hebben gekost als elke aanvraag naar de LLM zou worden verzonden, en saved = all_llm_cost - total_cost. Een lege invoer escaleert niets en kost niets. Druk op Run om een batch verkeer te prijzen.

Jij bent aan de beurt

Schrijf cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Voor elke rij, als max(row) >= threshold wordt het goedkoop afgehandeld (kosten cheap_cost), anders wordt het geëscaleerd (kosten llm_cost). Geef {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug: escalated is het aantal geëscaleerd, escalation_rate is geëscaleerd/len (0.0 voor leeg), total_cost is de gesommeerde kosten per aanvraag, all_llm_cost = len(prob_rows) * llm_cost, en saved = all_llm_cost - total_cost.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.