FDE Műhely

Bevezetés

Árnyékmód: hogyan élesíts anélkül, hogy bárki kockázatot vállalna

A rendszer fut, de nem dönt. Miért ez a leghasznosabb hat hét egy bevezetésben, mit mérünk közben, és mikor lehet továbblépni.

Az élesítés a bevezetés legkockázatosabb pillanata. Nem technikailag — szervezetileg. Ez az a nap, amikor valakinek alá kell írnia, hogy mostantól a rendszer csinálja.

Az árnyékmód ezt a napot bontja szét hat hétre.

Mi az árnyékmód

A rendszer teljes egészében fut: megkapja ugyanazokat a bemeneteket, végigviszi ugyanazokat a lépéseket, meghozza ugyanazokat a döntéseket.

Csak nem ír vissza sehova.

A kolléga közben dolgozik, ahogy eddig. A végén két eredmény van ugyanarra az esetre: az övé és a rendszeré. Ezt hasonlítjuk össze.

Miért ez a leghasznosabb hat hét

Mert valós adaton mér, nem mintán. Az arany adathalmaz múltbeli eseteket tartalmaz, amiket mi válogattunk. Az árnyékmód azt méri, ami tényleg jön — beleértve azt is, amire nem gondoltunk.

Mert nincs kockázat. Ha téved, semmi nem történik. Ez az egyetlen szakasz, ahol a hiba ingyen van, és ezt ki kell használni.

Mert a kollégák megszokják. Hat hét alatt a rendszer láthatóvá válik: ott van a képernyőn, javasol, és a kolléga látja, hogy jól javasol-e. Mire élesítésre kerül a sor, már nem ismeretlen.

Mert a szponzor kap egy számot. Nem ígéretet, hanem mérést a saját adataikon. Ez az, amit be tud vinni egy vezetői megbeszélésre.

Mit mérünk közben

Egyezés kategóriánként. Nem összesítve. A tanulság szinte mindig az, hogy egy szegmensben kiváló, egy másikban gyenge.

Az eltérések iránya. Amikor eltér, kinek volt igaza? Ez fontosabb, mint gondolnád: az esetek egy részében kiderül, hogy a rendszernek volt igaza, és a kézi feldolgozásban volt hiba. Volt olyan megrendelőnk, ahol az árnyékmód első hónapja nyolc korábbi téves besorolást hozott felszínre.

A lefedettség. Hány esetet vinne végig, és hány menne kivételsorba. Ez adja meg a valós megtakarítási számot — nem a pontosság.

A késleltetés és a költség. Mennyi ideig tart, mennyibe kerül egy eset. Ebből lesz a havi költségbecslés.

Amit ilyenkor javítunk

Az árnyékmód nem passzív megfigyelés. Hetente van egy kör:

  1. Megnézzük az eltéréseket kategóriánként.
  2. Kiválasztjuk a legnagyobb csoportot.
  3. Megkeressük az okát — jellemzően hiányzó kontextus, nem „rossz modell”.
  4. Javítunk, és a következő héten megnézzük, mozdult-e.

A negyedik lépés miatt kell a mérési készlet: enélkül nem tudod, hogy amit javítottál, nem rontott-e el mást.

Mikor lehet továbblépni

Nem akkor, amikor egy szám elér valamit. Akkor, amikor kategóriánként teljesül három feltétel:

  • az egyezés stabilan a küszöb fölött van, nem csak egy jó héten,
  • az eltérések, amik maradnak, ismertek és megmagyarázhatók,
  • és a hiba abban a kategóriában visszafordítható.

Ahol ez a három megvan, ott a kategória élesíthető. Ahol nem, ott marad árnyékban vagy emberi jóváhagyáson — akár tartósan.

Ez a szakaszos élesítés a lényeg. Nem a rendszert kapcsoljuk be, hanem az első kategóriát.

A leggyakoribb hiba

Türelmetlenség. Két jó hét után jön a nyomás, hogy „ez már megy, kapcsoljuk be”. A harmadik héten pedig kiderül, hogy az első kettő azért volt jó, mert hónap közepe volt, és a zárási hullám még nem érkezett meg.

Ezért érdemes legalább két teljes üzleti ciklust végignézni. Egy havi ciklusú folyamatnál ez két hónap. Ez hosszúnak tűnik — egészen addig, amíg valaki össze nem hasonlítja azzal, mennyi ideig tart helyreállítani egy elrontott éles bevezetés utáni bizalmat.


Kapcsolódó: eval és ember a hurokban.

Kérdések ehhez a témához

Meddig tartson az árnyékmód?

Amíg minden fontos esettípusból összejön elég futás — jellemzően 4-8 hét. Havi ciklusú folyamatoknál legalább két teljes ciklust érdemes végignézni, mert a hónap eleji és hónap végi terhelés máshogy viselkedik.

Nem pazarlás így futtatni a modellt hetekig?

Az inferencia költsége ebben a szakaszban tipikusan egy-két munkanap bérköltségének felel meg. Ehhez képest az, hogy nem élesben derül ki egy szisztematikus hiba, nagyságrendekkel többet ér.

Ez nálatok hogy néz ki?

Ha ez a probléma ismerős, kezdjük egy folyamattal. Írjátok meg, melyik részleg viszi el a legtöbb kézi munkaórát — visszaírunk egy konkrét javaslattal.

Kapcsolódó cikkek