Hogyan égess el egy éves keretet három hónap alatt

Volt egy időszak, amikor a stratégia annyi volt, hogy „a modellek elég jók, adjunk oda nekik mindent”. Ez a token maxing.

Ismerünk olyan vezetőt, aki egy egész évre szánt keretet égetett el három hónap alatt így. A szomorú része nem a szám volt, hanem hogy közben az üzleti mutatókban nem történt semmi.

Miért csábító

Mert működik, demóban. Ha mindent beleöntesz a kontextusba, a modell általában kitalálja, mit akarsz. Nem kell folyamatot felmérni, nem kell lépéseket definiálni, nem kell eldönteni, mi legyen determinisztikus.

Egy hét alatt van valami, ami a bemutatón jól néz ki. A számla két hónappal később érkezik.

Hol megy el a pénz

Ugyanaz a kontextus minden hívásnál. Ha ötven oldalnyi szabályzatot minden egyes esetnél elküldesz, akkor napi ezer esetnél havonta hatvanezer oldalt fizetsz ki, ugyanazt a hatvanezret.

Ágensek, amik körbejárnak. Ha nincs világos leállási feltétel, egy ágens tizenöt lépésben old meg valamit, amit három is megoldott volna. Az üzemeltetésben ez nem látszik, csak a számlán.

Modellhívás olyan lépésnél, ahol nem kell. „Ez az összeg nagyobb, mint egymillió?” Erre nem kell modell. Mégis rendszeresen látunk ilyet.

Újrapróbálkozás mérés nélkül. Ha a rendszer háromszor próbálkozik, mert nem tudja eldönteni, hogy sikerült-e, akkor háromszoros áron dolgozik.

Ami ellene működik

Döntsd el lépésenként, kell-e oda modell. Ez az FDE ítélete: egy tízlépéses folyamatban jellemzően kettő-három lépésnél van szükség valódi ítéletre. A többi kód. Ez általában nem 10–20%-os megtakarítás, hanem nagyságrend.

Használj kisebb modellt, ahol elég. Osztályozás, kivonatolás, formátumfelismerés, ezekre gyakran a töredéke is elég. A mérési készleten öt perc alatt eldönthető.

Gyorsítótárazd az állandó kontextust. Ha ugyanaz a szabályzat megy minden hívásban, a legtöbb szolgáltatónál lehet rá kedvezményes gyorsítótárat használni. Ez tipikusan a legkisebb munkával elérhető legnagyobb megtakarítás.

Adj leállási feltételt. Maximális lépésszám, maximális költség esetenként. Ha eléri, menjen emberhez, ne próbálkozzon tovább.

Mérj esetenként, ne havonta. Ha tudod, hogy egy eset feldolgozása 38 forint, akkor tudsz üzleti döntést hozni. Ha csak a havi számlát látod, akkor csak ijedezni tudsz.

Amit a vezetőnek érdemes kérdeznie

Ha valaki AI-projektet visz nálatok, ez a négy kérdés meglepően sokat elárul:

1. Mennyibe kerül egy eset feldolgozása? Ha nincs rá szám, nincs mérés sem.
2. Hány lépésnél hívunk modellt, és miért pont ott? Ha a válasz „mindenütt”, akkor van hova optimalizálni.
3. Mi a leállási feltétel? Ha nincs, a költség felülről nyitott.
4. Mennyivel lenne rosszabb egy olcsóbb modellel? Ha erre nincs válasz, akkor nincs mérési készlet, és ez a nagyobb baj, mint a költség.

A tanulság

A token maxing nem azért rossz, mert drága. Azért rossz, mert elrejti a tervezési munkát. Amíg mindent a modellre bízol, nem derül ki, hogy nem érted a folyamatot. Aztán amikor élesben elhasal, ott állsz egy nagy számlával, és még mindig nem érted.

Az olcsóbb rendszer általában ugyanaz, mint a megbízhatóbb rendszer. Nem véletlenül.

---

Kapcsolódó: melyik modellt válasszuk és hogyan mérjük a megtérülést.