Az arany adathalmaz felépítése a gyakorlatban

Egy mérési készlet annyit ér, amennyire hűen tükrözi a valóságot. Ez a mondat közhelynek hangzik, amíg az ember meg nem nézi, hogyan szoktak ezek a készletek összeállni: valaki kiexportál ezer sort, veszi az első százat, és kész.

Az első száz sor rendszerint a legutóbbi hónapból van, egyetlen ügyintézőtől, és nincs benne egyetlen kivétel sem.

Mi kerüljön bele

Minden esettípusból, valós arányban

Kezdjük a kategóriák felírásával. Egy számlafeldolgozásnál például: belföldi forintos, belföldi devizás, EU-s, EU-n kívüli, előlegszámla, helyesbítő számla, gyűjtőszámla, keretszerződéses lehívás.

Utána megnézzük, a valóságban melyik mekkora arányban fordul elő, és gondoskodunk róla, hogy mind szerepeljen. Az a kategória, ami nincs benne, az lesz, ami élesben elhasal.

A kivételek felülreprezentálva

Ha a helyesbítő számla az esetek 3%-a, akkor egy 100 elemes véletlen mintában három lesz belőle. Három esetből nem lehet megmondani, hogy jól kezeli-e a rendszer.

Ezért szándékosan többet teszünk be, mint amennyi a valóságban van, és a kiértékelésnél visszasúlyozzuk. Így egyszerre kapunk értelmes képet a ritka esetekről és reális összesített számot.

Több ügyintézőtől

Ha egyetlen kolléga eseteit vesszük, az ő szokásait mérjük, nem a folyamatot. Legalább három-négy embertől érdemes gyűjteni, és ahol eltérnek egymástól, az önmagában is felfedezés: ott nincs valódi szabály.

Időben szétszórva

Egy hónapból vett minta belesűríti az adott időszak sajátosságait: egy kampányt, egy zárást, egy szállítóváltást. Legalább 12 hónapot érdemes lefedni.

Mit jelent a „helyes válasz”

Itt dől el minden. Három szintet szoktunk megkülönböztetni.

Egyértelmű. Van egy helyes érték, és kész. A számla összege 1 240 000 Ft. Ezt gépi egyezéssel lehet ellenőrizni.

Elfogadható halmaz. Több válasz is jó. A költséghely lehet „Marketing” vagy „Marketing / Rendezvények”, mindkettő elfogadható. Ilyenkor a szakértő egy listát ad meg, nem egy értéket.

Ítélet. Nincs objektív helyes válasz, csak jobb és rosszabb. Például egy összefoglaló szövegnél. Ilyenkor kritériumokat írunk le („tartalmazza a határidőt”, „nem tartalmaz olyan állítást, ami nincs a forrásban”), és azok mentén pontozunk. Erről bővebben: nem determinisztikus feladatok értékelése.

A címkézést mindig szakterületi kolléga végzi. Nem a fejlesztő, és nem egy modell. Ha modellel címkéztek, akkor a saját hibáitokat fogjátok mérni.

A leggyakoribb hibák

A készlet a fejlesztéssel együtt változik. Ha minden bukás után átírjátok az elvárt választ, akkor a mérés mindig 100% lesz, és semmit nem fog jelenteni. A készlet változtatása külön döntés, indoklással, verziózva.

Csak a boldog útra épül. Ha nincs benne olyan eset, ahol hiányzik az adat, ahol elírás van, ahol két csatolmány jött, akkor élesben ezek fogják megfogni.

Egyetlen összesített szám. A „87%” önmagában semmit nem mond. Kategóriánként kell bontani, különben nem látszik, hogy az egyik szegmensben 98%, a másikban 41%.

A készlet bekerül a promptba. Ha az esetek a rendszer kontextusába kerülnek, onnantól nem mérnek semmit. Szigorúan elkülönítve tartjuk.

Mennyi elég

Egy szűk, jól definiált feladatnál 50–100 eset már ad használható jelzést. 300–500 fölött stabilizálódnak a kategóriánkénti számok. Ezer fölött inkább a lefedettséget érdemes bővíteni, mint a darabszámot.

Ha most kezditek: kezdjétek kicsiben, de kategóriánként. Egy 80 elemes, minden típust lefedő készlet többet ér, mint egy 2000 elemes, ami csak a tipikus esetet ismeri.

---

A készlet a tiétek marad. Ez az, ami miatt egy fél év múlva megjelenő modellre váltani mérés lesz, nem hitkérdés. Beszéljünk róla.