Koste-bewuste Kaskade
Dit is die kern van die hele module. 'n Produksie LLM call is stadig en kos regte geld; 'n gefitteerde classifier kos byna niks nie. So jy cascade: laat die goedkoop model die meeste van die versekerde verkeer hanteer, en stuur net die onseker deel na die duur LLM. As dit reg gedoen word, bied jy dieselfde kwaliteit teen 'n breukdeel van die koste.
Die besluit is die thresholding wat jy reeds gebou het: vir elke versoek het jy die cheap classifier se probability row. As die top probability 'n confidence threshold oorskry, antwoord goedkoop; anders moet jy eskaleer. Die ingenieursvraag wat jou baas eintlik vra is hoeveel spaar dit?, so jy tel ook die eskalasies en die koste.
row = [0.9, 0.05, 0.05] # confident -> handle cheaply
row = [0.4, 0.35, 0.25] # uncertain -> escalate to the LLMBou cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Vir elke waarskynlikheidsry, as max(row) >= threshold word dit goedkoop hanteer (dit kos cheap_cost); anders word dit geeskaleer (dit kos llm_cost). Gee {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug waar all_llm_cost is wat dit sou kos om elke versoek na die LLM te stuur, en saved = all_llm_cost - total_cost. 'n Leë insetsein eskaleer niks en kos niks. Druk Run om 'n pakkie verkeer te prys.
Skryf cascade(prob_rows, threshold, cheap_cost=1, llm_cost=25). Vir elke ry, as max(row) >= threshold word dit goedkoop hanteer (koste cheap_cost), anders word dit geeskaleer (koste llm_cost). Gee {"escalated", "escalation_rate", "total_cost", "all_llm_cost", "saved"} terug: escalated is die aantal geeskaleer, escalation_rate is geeskaleer/len (0.0 vir leeg), total_cost is die gesommel per versoek koste, all_llm_cost = len(prob_rows) * llm_cost, en saved = all_llm_cost - total_cost.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.