Eval: hogyan mérjük meg, hogy működik-e

Amikor egy hagyományos szoftver kész, lefuttatod a teszteket, és zöld vagy piros lesz. Egy modellre épülő rendszernél ez nem így megy: ugyanarra a bemenetre két futás két különböző választ adhat, és mindkettő lehet elfogadható.

Ettől még mérhető. Csak másképp.

Mi az az eval

Az eval egy mérési készlet: bemenetek egy halmaza, mindegyikhez azzal, hogy mit tekintünk helyes kimenetnek, plusz egy szabály, ami eldönti, hogy a rendszer válasza megfelel-e.

Ez nem egyenlő a unit teszttel. A unit teszt karakterre egyezést vár. Az eval azt kérdezi: elfogadható-e ez a válasz annak, aki ma kézzel csinálja?

Az arany adathalmaz

A készlet alapja a saját múltbeli adatotok. Nem szintetikus példák, nem demóadatok: valódi esetek, amiket valaki már megoldott, és tudjuk, hogyan.

Az összeállításnál három dologra figyelünk.

Lefedettség, nem darabszám. Nem az a jó készlet, amiben ötezer eset van, hanem az, amiben minden esettípusból van. Ha a valóságban az esetek 12%-a külföldi szállítótól jön devizás számlával, akkor a készletben is legyen ennyi — különben a mérés hazudni fog.

A kivételek felülreprezentálva. A ritka esetek okozzák a bajt élesben. A készletben szándékosan több van belőlük, mint a valóságban, és a kiértékelésnél visszasúlyozzuk.

A helyes választ szakértő mondja meg. Nem a fejlesztő, nem a modell. Az a kolléga, aki ma is ezt csinálja. Ez a legidőigényesebb rész, és nem megspórolható.

Mit mérünk

Feladattól függ, de jellemzően három szinten:

1. Megvan-e minden adat? Kinyerte-e a rendszer, amire szükség van. Ez a legkönnyebben mérhető réteg.
2. Elvégezte-e a szükséges lépéseket? Lekérdezte-e a szállítói törzset, ellenőrizte-e a keretszerződést. Ehhez a lépések naplója kell.
3. Egyezik-e a szakértő döntésével? Ugyanoda sorolta-e be, ugyanazt a költséghelyet javasolta-e.

Külön mérjük azt is, hogy biztonságos-e ráengedni: nem csinált-e olyat, amit nem lett volna szabad, és jelezte-e, ha bizonytalan volt.

A mérési jegyzőkönyv

A kimenet nem egy százalék. Így néz ki:

Futás: 2026-05-14 · 50 eset · modell: [X] · verzió: 0.7.2

Átment:        41 / 50   (82%)
Elbukott:       9 / 50   (18%)

Hibák bontása:
  hiányzó adat a forrásban        5   → nem a rendszer hibája, felderítés kell
  rossz rekordot húzott be        3   → szállítói törzs egyezés javítandó
  helyes, de nem jelezte a bizonytalanságot  1  → küszöb hangolása

Kategóriánként:
  belföldi, forintos       28/29  (97%)
  külföldi, devizás         9/14  (64%)   ← itt van a baj
  előlegszámla              4/7   (57%)   ← és itt

A tanulság ritkán az, hogy „a modell rossz”. Sokkal gyakrabban az, hogy egy konkrét kategóriában rossz — és arra a kategóriára külön szabály vagy külön kontextus kell. A devizás esetek 64%-a nem modellváltásért kiált, hanem azért, hogy az árfolyamtáblát oda kell adni a rendszernek.

A küszöb

A mérésből lesz a legfontosabb üzemeltetési döntés: mi mehet automatikusan, és mi megy emberhez.

Ez nem egyetlen szám. Kategóriánként állítjuk be. A fenti példában a belföldi, forintos esetek 97%-on mehetnek automatikusan; a devizásak egyelőre mind emberhez mennek. Ahogy a mérés javul, a küszöb mozdul — de csak mérés alapján, nem türelmetlenségből.

Miért a tiétek marad a készlet

Ez a készlet a legértékesebb dolog, ami az együttműködésből marad.

Amíg megvan, minden jövőbeli döntés mérés kérdése lesz. Jön egy olcsóbb modell? Lefuttatod. A szállító frissíti a rendszert? Lefuttatod. Valaki átírja a promptot? Lefuttatod, és látod, mit rontott el.

Enélkül minden változtatás hitkérdés.

---

Az eval a bevezetés előfeltétele nálunk. Kapcsolódó olvasnivaló: az arany adathalmaz felépítése.