Audit
Hogyan készül egy AI-audit — lépésről lépésre
Mit csinál pontosan egy FDE a felmérés két-négy hete alatt, kikkel beszél, mit néz meg a rendszerekben, és mi az, amit a végén kézbe kaptok.
Ha valaki „AI-auditot” ajánl, jogos a kérdés, hogy ez pontosan mit jelent. Ezért leírjuk, mit csinálunk a két-négy hét alatt.
0. Előkészítés — mielőtt bemennénk
Két dolgot kérünk előre: egy szervezeti ábrát az érintett részlegről, és a hozzáférést azokhoz a rendszerekhez, amelyekben a folyamat fut (olvasási joggal is elég). Nem azért, hogy előre eldöntsük a választ, hanem hogy az első napon ne azzal menjen el az idő, hogy megtudjuk, hány rendszer van.
Kijelölünk egy belső kapcsolattartót. Nem projektmenedzsert: egy embert, aki ismeri a részleget, és aki be tud mutatni minket a kollégáknak úgy, hogy az ne ellenőrzésnek tűnjön.
Ez utóbbi fontosabb, mint amilyennek hangzik. Ha a csapat azt hiszi, hogy azért jöttünk, hogy megszámoljuk, kit lehet elküldeni, semmit nem fogunk megtudni.
1. hét — megfigyelés
Az első nap többnyire csendben telik. A kolléga dolgozik, mi mellette ülünk és nézzük. Nem interjú, nem kérdőív: megfigyelés.
Miért? Mert ha megkérdezed valakitől, hogyan megy a munkája, egy absztrakt összefoglalót kapsz. Ha nézed, akkor látod azt is, amikor félbeszakítja magát, átfordul a szomszéd asztalhoz, megkérdez valamit, és megy tovább. Az a fordulat sehol nincs leírva — pedig gyakran az a folyamat legfontosabb lépése.
Amikor valami szokatlan történik, akkor kérdezünk. Így az emlék friss, és konkrét eset kapcsán beszélünk, nem szabályokról.
Amit ilyenkor rögzítünk:
- Mit csinál, milyen sorrendben, milyen felületen.
- Mennyi ideig tart, és hányszor fordul elő naponta.
- Hol vár másra, és mennyit.
- Mit másol át kézzel egyik rendszerből a másikba.
- Mikor és miért tér el a szokásostól.
2. hét — kivételnapló és rendszernaplók
A második héten két dolog fut párhuzamosan.
Kivételnapló. Kérünk a kollégáktól egy egyszerű dolgot: amikor valami nem a szokásos módon megy, írják fel egy sorban. Két hét alatt ebből összegyűlik 40–120 tétel. Ez lesz később a specifikáció fele.
Rendszernaplók. Az ERP audit logja, a CRM exportja, a megosztott mappa fájlnevei, a levelezés metaadatai. Ezek elmondják azt is, amit senki nem mond el: hogy egy „ritka” kivétel valójában az esetek 18%-a, vagy hogy egy lépés átlagosan nem 5 perc, hanem 40.
Itt szoktak megjelenni a meglepetések. Egy megrendelőnknél a felmérésből derült ki, hogy a folyamat egy pontján két csapat párhuzamosan ugyanazt az adatot rögzíti — évek óta, egymásról nem tudva.
3. hét — a működési térkép
Összeáll a dokumentum. Minden lépésre:
| Mező | Mit tartalmaz |
|---|---|
| Bemenet / kimenet | Mi jön be, mi megy ki, milyen formában |
| Felelős és időráfordítás | Ki csinálja, mennyi ideig, milyen gyakran |
| Érintett rendszerek | Hol van az adat, van-e hozzá API |
| Kivételek | Milyen eltérések vannak, milyen arányban |
| Hibakezelés | Mi történik, ha elromlik, ki veszi észre |
| Ítélet | Kell-e ide valódi döntés, vagy szabályozható |
Az utolsó sor a lényeg. Ebből lesz a döntés arról, hogy egy lépés determinisztikus kód marad, ágens lesz belőle, vagy ember marad a hurokban.
4. hét — ROI-mátrix és terv
A térképből prioritási sorrend lesz. Két tengely mentén rendezünk: mekkora a volumen és a megtakarítható idő, illetve mekkora a kockázat és a megvalósítás nehézsége.
Ebből három csoport áll elő:
- Most. Nagy volumen, alacsony kockázat, meglévő API. Itt kezdünk.
- Később. Megéri, de valami hiányzik hozzá — adat, integráció, döntés.
- Nem. Túl kicsi a haszon, túl nagy a kockázat, vagy már automatizált.
A harmadik csoportot ugyanolyan részletesen leírjuk, mint a másik kettőt. Az is érték, ha valaki megspórol egy zsákutcát.
Mellé kerül egy architektúraterv és egy becslés: mennyi idő, mennyi pénz, milyen kockázatokkal.
Amit a végén kézbe kaptok
- Működési térkép, lépésenként, kivételágakkal
- Kvantifikált időráfordítás folyamatonként
- ROI-mátrix a három csoporttal
- Architektúraterv a javasolt megoldásra
- Becslés időre és költségre
- Egy 30 perces prezentáció a vezetőségnek
Ez a csomag akkor is a tiétek, ha a megvalósítást nem velünk csináljátok. Nem titkosítjuk el, és nem építünk bele függőséget.
Ha kíváncsiak vagytok, nálatok mit hozna ki egy ilyen felmérés, írjatok.
Kérdések ehhez a témához
Ki kell hozzá a kollégák ideje?
Kevesebb, mint gondolnátok. A megfigyelés a rendes munka mellett zajlik, nem helyette. Interjúra összesen 4-6 óra kell szakterületenként, szétosztva.
Mi van, ha az audit azt hozza ki, hogy nem érdemes belevágni?
Akkor ezt írjuk le. Ez is eredmény: pontosan tudni fogjátok, miért nem, és milyen feltétel mellett változna meg a kép.
Ez nálatok hogy néz ki?
Ha ez a probléma ismerős, kezdjük egy folyamattal. Írjátok meg, melyik részleg viszi el a legtöbb kézi munkaórát — visszaírunk egy konkrét javaslattal.