Jak mierzyć efekty automatyzacji

Automatyzacja może poprawić szybkość jednego kroku, a jednocześnie zwiększyć liczbę poprawek, przenieść pracę do innego zespołu albo wygenerować nowy koszt utrzymania. Dlatego liczba wykonanych operacji i dostępność mechanizmu nie są wystarczającą miarą sukcesu. Potrzebny jest plan, który porównuje wynik procesu przed zmianą i po niej według tych samych definicji.

Plan pomiaru powinien powstać przed uruchomieniem pilota. Po zobaczeniu pierwszych rezultatów łatwo wybrać wskaźnik wyglądający korzystnie albo zmienić okres odniesienia. Wcześniejsze uzgodnienie celu, źródeł danych i reguły decyzji chroni zespół przed taką interpretacją.

Zdefiniuj oczekiwaną zmianę

Zacznij od zdania łączącego działanie z wynikiem: „Jeżeli automatycznie zweryfikujemy kompletność zgłoszenia przy wpływie, skrócimy czas do przydzielenia sprawy i zmniejszymy liczbę zwrotów do nadawcy”. Zdanie wskazuje mechanizm, dwa oczekiwane skutki i obszar procesu. Nie ogranicza się do stwierdzenia, że będzie szybciej.

Wskaż odbiorcę korzyści. Może nim być klient czekający krócej, zespół odzyskujący czas, właściciel procesu otrzymujący bardziej przewidywalny wynik albo organizacja ograniczająca ryzyko błędu. Jeżeli nie wiadomo, kto zauważy zmianę, warto ponownie sprawdzić wybór procesu według kryteriów z artykułu jak wybrać proces do automatyzacji.

Ustal także horyzont. Niektóre efekty widać od pierwszego dnia, inne dopiero po przejściu pełnego cyklu rozliczeniowego. Okres musi być wystarczająco długi, by objąć typowe warianty, ale nie tak długi, by zespół przez miesiące działał bez punktu kontrolnego.

Zbuduj wartość bazową

Wartość bazowa to pomiar procesu przed zmianą. Wybierz okres reprezentatywny pod względem wolumenu, dni roboczych i sezonowości. Jeżeli proces ma wyraźne szczyty, uwzględnij je osobno albo porównaj analogiczne okresy. Sam ostatni tydzień może być wygodny, lecz przypadkowy.

Dla każdego wskaźnika zapisz dokładną definicję, jednostkę, początek i koniec pomiaru, źródło danych, częstotliwość oraz właściciela. „Czas obsługi” może oznaczać czas pracy człowieka albo cały czas od wpływu do zamknięcia, łącznie z oczekiwaniem. Oba są użyteczne, ale odpowiadają na inne pytania. Zmiana definicji między bazą i pilotem unieważnia porównanie.

Sprawdź jakość danych na próbce. Czy znaczniki czasu są ustawiane w tym samym momencie? Czy ponownie otwarte sprawy zachowują identyfikator? Czy brak wartości oznacza zero, czy niepełny zapis? Jeżeli system nie dostarcza wiarygodnej informacji, można przez ograniczony czas prowadzić ręczny pomiar, pod warunkiem opisania sposobu i konsekwentnego stosowania.

Wybierz wskaźniki wyniku

Zestaw powinien być mały. Jeden wskaźnik główny pokazuje najważniejszy efekt, a kilka pomocniczych wyjaśnia, skąd zmiana się wzięła. Dodatkowe mierniki bezpieczeństwa chronią przed poprawą wyniku kosztem jakości lub ryzyka.

Czas i praca ręczna

Czas przejścia mierzy okres od zdarzenia startowego do wyniku, razem z oczekiwaniem. Czas pracy ręcznej obejmuje tylko aktywność osób. Automatyzacja może mocno zmniejszyć drugi, a słabo wpłynąć na pierwszy, jeśli wąskie gardło znajduje się w późniejszej akceptacji. Mierz medianę oraz wysoki percentyl albo udział spraw przekraczających termin, ponieważ sama średnia ukrywa długi ogon opóźnień.

Zaoszczędzony czas nie zawsze staje się oszczędnością finansową. Jeżeli pracownicy wykorzystają go na zmniejszenie zaległości lub poprawę obsługi, opisz tę korzyść właściwym wskaźnikiem. Nie przeliczaj każdej minuty na redukcję kosztu zatrudnienia, jeśli organizacja nie planuje takiej zmiany.

Jakość i przewidywalność

Jakość można mierzyć odsetkiem błędów, zwrotów, duplikatów, ponownych wykonań lub spraw wymagających ręcznej korekty. Dodaj liczbę wyjątków oraz przyczyny ich powstania. Stabilny proces nie tylko osiąga dobry wynik średni, ale zachowuje się przewidywalnie przy większym wolumenie i różnych wariantach danych.

Jeśli błąd ma różny ciężar, nie łącz wszystkich przypadków w jedną liczbę. Drobna korekta formatowania i nieprawidłowe zaksięgowanie nie powinny mieć tej samej wagi. Ustal kategorie przed pilotem i zapewnij możliwość przejrzenia konkretnych zdarzeń.

Koszt całkowity

Koszt obejmuje przygotowanie, licencje, infrastrukturę, integracje, utrzymanie, obsługę wyjątków, monitorowanie i przyszłe zmiany. W pilocie nie wszystkie składniki da się dokładnie oszacować, ale należy je przynajmniej nazwać. Rozwiązanie tanie do uruchomienia może być kosztowne, jeśli każda zmiana reguły wymaga specjalistycznej interwencji.

Porównuj koszt z wolumenem i trwałością korzyści. Obliczenie dla jednego miesiąca bez przewidywanej częstotliwości zmian może zawyżać atrakcyjność procesów często zmienianych albo pomijać ich późniejsze koszty utrzymania.

Dodaj mierniki bezpieczeństwa

Mierniki bezpieczeństwa wskazują, czego nie wolno pogorszyć. Mogą obejmować liczbę nieodwracalnych błędów, naruszeń uprawnień, utraconych spraw, operacji bez śladu audytowego, skarg lub ręcznych interwencji po awarii. Dla krytycznych zdarzeń ustal próg zatrzymania pilota, a nie tylko wartość obserwowaną po zakończeniu.

Uwzględnij obciążenie innych zespołów. Skrócenie kroku wejściowego może przenieść kolejkę do kontroli, a automatyczne odrzucanie niekompletnych zgłoszeń zwiększyć liczbę kontaktów z nadawcami. Granice i przekazania powinny wynikać z opisu przygotowanego według przewodnika jak opisać proces przed automatyzacją.

Porównaj pilot z bazą

Zastosuj te same definicje i podobny zakres spraw. Oddziel przypadki obsłużone automatycznie, ręcznie oraz mieszanie. Pokaż liczebność próby, a nie tylko procent poprawy. Zmiana z jednej do zera błędnych spraw wygląda jak stuprocentowa poprawa, lecz nie daje mocnego wniosku.

Sprawdź wpływ wolumenu, dni tygodnia i wariantów procesu. Jeśli pilot obejmował tylko najprostsze sprawy, nie rozszerzaj wyniku na całość bez dodatkowej próby. Przejrzyj zdarzenia skrajne, ponieważ mogą ujawnić błąd projektu niewidoczny w zagregowanym wyniku.

Wynik uzupełnij rozmową z osobami wykonującymi i odbierającymi pracę. Informacja jakościowa pomaga wyjaśnić liczby, ale ich nie zastępuje. Zespół może odczuwać poprawę wygody, mimo że czas całego procesu się nie zmienił; to cenna korzyść, jeżeli zostanie jawnie opisana.

Ustal regułę decyzji

Przed pilotem zapisz minimalny wynik główny, dopuszczalne wartości zabezpieczeń i maksymalny koszt kolejnego etapu. Po pomiarze wybierz jedną decyzję: skalujemy, korygujemy i ponawiamy próbę, pozostawiamy ograniczony zakres albo zatrzymujemy rozwiązanie. Każda powinna mieć właściciela, uzasadnienie i termin przeglądu.

Brak oczekiwanej poprawy nie musi oznaczać, że mechanizm działa niepoprawnie. Być może problem znajdował się w innym miejscu, wolumen był zbyt mały albo koszt wyjątków zniwelował korzyść. Wtedy wróć do wcześniejszych etapów metody automatyzacji, zamiast rozszerzać zakres wyłącznie dlatego, że rozwiązanie już powstało. Pomiar ma wspierać decyzję, a nie bronić projektu.