Hogyan értékelj olyan feladatot, aminek nincs egy helyes megoldása

Egy számla összegét egyértelműen el lehet dönteni. Egy ügyfélösszefoglaló minőségét nem — ott az eredmény attól is függ, ki nézi.

Ettől még nem lehet lemondani a mérésről. Csak más eszköz kell hozzá.

Ne a kimenetet pontozd, hanem a tulajdonságait

A trükk az, hogy a „jó-e ez az összefoglaló?” kérdést szétszeded olyan részkérdésekre, amelyekre igen vagy nem a válasz.

Egy ügyfél-találkozó összefoglalójánál például:

• Szerepel benne minden megbeszélt határidő? (igen / nem)
• Van benne olyan állítás, ami nem hangzott el? (igen / nem)
• Meg van nevezve minden felelős? (igen / nem)
• 200 szó alatt van? (igen / nem)
• A nyitó mondat a döntést tartalmazza, nem a köszönést? (igen / nem)

Öt bináris kérdésből lesz egy pontszám, ami mérhető, összehasonlítható, és amiről vitatkozni is lehet — de legalább konkrétan.

A legfontosabb közülük a második: van-e benne olyan, ami nincs a forrásban. Ez a hallucináció mérése, és ez az, ami a bizalmat eldönti.

Honnan jönnek a kritériumok

A meglévő anyagokból. Ha van ötszáz korábbi összefoglaló, amit a csapat elfogadhatónak tart, azokból kiolvasható, mi a közös bennük. Ha van tíz, amit visszadobtak, azokból még többet lehet tanulni: a visszadobás oka a kritérium.

Ezt a listát a szakterülettel együtt írjuk meg, és nem az első verzió lesz a végleges. Az első két hónapban rendszeresen bővül.

Az emberi visszajelzés nem opcionális

Bármilyen jó a kritériumlista, egy ítéletalapú feladatnál nem lesz teljes. Ezért ilyen esetekben mindig marad ember a hurokban, és a rendszer felületén egy dolog biztosan ott van: egy visszajelzési lehetőség.

Nem ötcsillagos értékelés. Egyetlen kérdés: elfogadható volt? És ha nem, egy mező: mi hiányzott?

Ebből a két adatból két dolog lesz:

1. Új kritérium. Ami háromszor előjön a szöveges mezőben, az bekerül a listába.
2. Új eset a készletbe. A visszadobott kimenet a javított változattal együtt új mérési eset.

Így a mérési készlet nem statikus dokumentum, hanem együtt nő a rendszerrel.

Amit ilyenkor nem szabad ígérni

Ítéletalapú feladatnál nincs 99%. Ha valaki azt ígéri, vagy nem érti a feladatot, vagy nem mérte meg.

Amit ígérni lehet: hogy a kimenet elfogadható arányban jó, hogy a hibák láthatók és javíthatók, és hogy az arány mérhetően javul. Ez elég ahhoz, hogy egy folyamat gyorsabb legyen — feltéve, hogy az ellenőrzés gyorsabb, mint a megírás.

Ez az utolsó feltétel a döntő. Ha egy összefoglaló átnézése és javítása ugyanannyi ideig tart, mint megírni, akkor a rendszer nem segít, hanem átcsoportosítja a munkát. Ezt az auditban meg kell mérni, nem feltételezni.

---

Kapcsolódó: az arany adathalmaz felépítése és ember a hurokban.