Bevezetés
Árnyékmód: hogyan élesíts anélkül, hogy bárki kockázatot vállalna
A rendszer fut, de nem dönt. Miért ez a leghasznosabb hat hét egy bevezetésben, mit mérünk közben, és mikor lehet továbblépni.
Az élesítés a bevezetés legkockázatosabb pillanata. Nem technikailag — szervezetileg. Ez az a nap, amikor valakinek alá kell írnia, hogy mostantól a rendszer csinálja.
Az árnyékmód ezt a napot bontja szét hat hétre.
Mi az árnyékmód
A rendszer teljes egészében fut: megkapja ugyanazokat a bemeneteket, végigviszi ugyanazokat a lépéseket, meghozza ugyanazokat a döntéseket.
Csak nem ír vissza sehova.
A kolléga közben dolgozik, ahogy eddig. A végén két eredmény van ugyanarra az esetre: az övé és a rendszeré. Ezt hasonlítjuk össze.
Miért ez a leghasznosabb hat hét
Mert valós adaton mér, nem mintán. Az arany adathalmaz múltbeli eseteket tartalmaz, amiket mi válogattunk. Az árnyékmód azt méri, ami tényleg jön — beleértve azt is, amire nem gondoltunk.
Mert nincs kockázat. Ha téved, semmi nem történik. Ez az egyetlen szakasz, ahol a hiba ingyen van, és ezt ki kell használni.
Mert a kollégák megszokják. Hat hét alatt a rendszer láthatóvá válik: ott van a képernyőn, javasol, és a kolléga látja, hogy jól javasol-e. Mire élesítésre kerül a sor, már nem ismeretlen.
Mert a szponzor kap egy számot. Nem ígéretet, hanem mérést a saját adataikon. Ez az, amit be tud vinni egy vezetői megbeszélésre.
Mit mérünk közben
Egyezés kategóriánként. Nem összesítve. A tanulság szinte mindig az, hogy egy szegmensben kiváló, egy másikban gyenge.
Az eltérések iránya. Amikor eltér, kinek volt igaza? Ez fontosabb, mint gondolnád: az esetek egy részében kiderül, hogy a rendszernek volt igaza, és a kézi feldolgozásban volt hiba. Volt olyan megrendelőnk, ahol az árnyékmód első hónapja nyolc korábbi téves besorolást hozott felszínre.
A lefedettség. Hány esetet vinne végig, és hány menne kivételsorba. Ez adja meg a valós megtakarítási számot — nem a pontosság.
A késleltetés és a költség. Mennyi ideig tart, mennyibe kerül egy eset. Ebből lesz a havi költségbecslés.
Amit ilyenkor javítunk
Az árnyékmód nem passzív megfigyelés. Hetente van egy kör:
- Megnézzük az eltéréseket kategóriánként.
- Kiválasztjuk a legnagyobb csoportot.
- Megkeressük az okát — jellemzően hiányzó kontextus, nem „rossz modell”.
- Javítunk, és a következő héten megnézzük, mozdult-e.
A negyedik lépés miatt kell a mérési készlet: enélkül nem tudod, hogy amit javítottál, nem rontott-e el mást.
Mikor lehet továbblépni
Nem akkor, amikor egy szám elér valamit. Akkor, amikor kategóriánként teljesül három feltétel:
- az egyezés stabilan a küszöb fölött van, nem csak egy jó héten,
- az eltérések, amik maradnak, ismertek és megmagyarázhatók,
- és a hiba abban a kategóriában visszafordítható.
Ahol ez a három megvan, ott a kategória élesíthető. Ahol nem, ott marad árnyékban vagy emberi jóváhagyáson — akár tartósan.
Ez a szakaszos élesítés a lényeg. Nem a rendszert kapcsoljuk be, hanem az első kategóriát.
A leggyakoribb hiba
Türelmetlenség. Két jó hét után jön a nyomás, hogy „ez már megy, kapcsoljuk be”. A harmadik héten pedig kiderül, hogy az első kettő azért volt jó, mert hónap közepe volt, és a zárási hullám még nem érkezett meg.
Ezért érdemes legalább két teljes üzleti ciklust végignézni. Egy havi ciklusú folyamatnál ez két hónap. Ez hosszúnak tűnik — egészen addig, amíg valaki össze nem hasonlítja azzal, mennyi ideig tart helyreállítani egy elrontott éles bevezetés utáni bizalmat.
Kapcsolódó: eval és ember a hurokban.
Kérdések ehhez a témához
Meddig tartson az árnyékmód?
Amíg minden fontos esettípusból összejön elég futás — jellemzően 4-8 hét. Havi ciklusú folyamatoknál legalább két teljes ciklust érdemes végignézni, mert a hónap eleji és hónap végi terhelés máshogy viselkedik.
Nem pazarlás így futtatni a modellt hetekig?
Az inferencia költsége ebben a szakaszban tipikusan egy-két munkanap bérköltségének felel meg. Ehhez képest az, hogy nem élesben derül ki egy szisztematikus hiba, nagyságrendekkel többet ér.
Ez nálatok hogy néz ki?
Ha ez a probléma ismerős, kezdjük egy folyamattal. Írjátok meg, melyik részleg viszi el a legtöbb kézi munkaórát — visszaírunk egy konkrét javaslattal.