Vezetőknek
Token maxing: hogyan égess el egy éves keretet három hónap alatt
Mindent odaadni a modellnek drágább, lassabb és megbízhatatlanabb, mint amit kód is megoldana. Így néz ki a költségoldal, és mit érdemes helyette csinálni.
Volt egy időszak, amikor a stratégia annyi volt, hogy „a modellek elég jók, adjunk oda nekik mindent”. Ez a token maxing.
Ismerünk olyan vezetőt, aki egy egész évre szánt keretet égetett el három hónap alatt így. A szomorú része nem a szám volt, hanem hogy közben az üzleti mutatókban nem történt semmi.
Miért csábító
Mert működik — demóban. Ha mindent beleöntesz a kontextusba, a modell általában kitalálja, mit akarsz. Nem kell folyamatot felmérni, nem kell lépéseket definiálni, nem kell eldönteni, mi legyen determinisztikus.
Egy hét alatt van valami, ami a bemutatón jól néz ki. A számla két hónappal később érkezik.
Hol megy el a pénz
Ugyanaz a kontextus minden hívásnál. Ha ötven oldalnyi szabályzatot minden egyes esetnél elküldesz, akkor napi ezer esetnél havonta hatvanezer oldalt fizetsz ki — ugyanazt a hatvanezret.
Ágensek, amik körbejárnak. Ha nincs világos leállási feltétel, egy ágens tizenöt lépésben old meg valamit, amit három is megoldott volna. Az üzemeltetésben ez nem látszik, csak a számlán.
Modellhívás olyan lépésnél, ahol nem kell. „Ez az összeg nagyobb, mint egymillió?” Erre nem kell modell. Mégis rendszeresen látunk ilyet.
Újrapróbálkozás mérés nélkül. Ha a rendszer háromszor próbálkozik, mert nem tudja eldönteni, hogy sikerült-e, akkor háromszoros áron dolgozik.
Ami ellene működik
Döntsd el lépésenként, kell-e oda modell. Ez az FDE ítélete: egy tízlépéses folyamatban jellemzően kettő-három lépésnél van szükség valódi ítéletre. A többi kód. Ez általában nem 10–20%-os megtakarítás, hanem nagyságrend.
Használj kisebb modellt, ahol elég. Osztályozás, kivonatolás, formátumfelismerés — ezekre gyakran a töredéke is elég. A mérési készleten öt perc alatt eldönthető.
Gyorsítótárazd az állandó kontextust. Ha ugyanaz a szabályzat megy minden hívásban, a legtöbb szolgáltatónál lehet rá kedvezményes gyorsítótárat használni. Ez tipikusan a legkisebb munkával elérhető legnagyobb megtakarítás.
Adj leállási feltételt. Maximális lépésszám, maximális költség esetenként. Ha eléri, menjen emberhez — ne próbálkozzon tovább.
Mérj esetenként, ne havonta. Ha tudod, hogy egy eset feldolgozása 38 forint, akkor tudsz üzleti döntést hozni. Ha csak a havi számlát látod, akkor csak ijedezni tudsz.
Amit a vezetőnek érdemes kérdeznie
Ha valaki AI-projektet visz nálatok, ez a négy kérdés meglepően sokat elárul:
- Mennyibe kerül egy eset feldolgozása? Ha nincs rá szám, nincs mérés sem.
- Hány lépésnél hívunk modellt, és miért pont ott? Ha a válasz „mindenütt”, akkor van hova optimalizálni.
- Mi a leállási feltétel? Ha nincs, a költség felülről nyitott.
- Mennyivel lenne rosszabb egy olcsóbb modellel? Ha erre nincs válasz, akkor nincs mérési készlet — és ez a nagyobb baj, mint a költség.
A tanulság
A token maxing nem azért rossz, mert drága. Azért rossz, mert elrejti a tervezési munkát. Amíg mindent a modellre bízol, nem derül ki, hogy nem érted a folyamatot. Aztán amikor élesben elhasal, ott állsz egy nagy számlával, és még mindig nem érted.
Az olcsóbb rendszer általában ugyanaz, mint a megbízhatóbb rendszer. Nem véletlenül.
Kapcsolódó: melyik modellt válasszuk és hogyan mérjük a megtérülést.
Kérdések ehhez a témához
Hogyan lássuk előre a havi költséget?
Az auditban megbecsüljük a volumen és a lépésenkénti tokenhasználat alapján, az árnyékmódban pedig valós adaton mérjük. Élesítés előtt konkrét havi számot adunk, nem nagyságrendet.
Érdemes költségkeretet állítani a csapatoknak?
Igen, de a keret önmagában nem elég — riasztás is kell hozzá, ami idejében szól. A keret azt mondja meg, mennyit szabad; a mérés azt, hogy megérte-e.
Ez nálatok hogy néz ki?
Ha ez a probléma ismerős, kezdjük egy folyamattal. Írjátok meg, melyik részleg viszi el a legtöbb kézi munkaórát — visszaírunk egy konkrét javaslattal.