Jak dziwne metryki zaczęły tańczyć z wężami
Ahoy, Cybernetyczny Żeglarzu 👋
Dzisiaj na tapetę weźmiemy metryki, KPI, cele i inne wynalazki do mierzenia wydajności i postępu w osiąganiu celów osobistych lub w organizacji.
Dowiesz się, na jakie różne i ciekawe sposoby można eksploatować system premii w firmach.
„Pomiar jest pierwszym krokiem, który prowadzi do kontroli i ostatecznie do poprawy. Jeśli nie możesz czegoś zmierzyć, nie możesz tego zrozumieć. Jeśli nie możesz tego zrozumieć, nie możesz tego kontrolować.” – H. James Harrington
Czym jest metryka?
Metryka może być małym czarodziejskim lusterkiem pokazującym jak coś działa… albo nie działa. Ale, jak każde lustereczko, potrafi czasem pokazywać przekłamane odbicie. Wybierzesz nieprawidłową metrykę, zbierane są błędne dane, lub danych nie ma, wbijasz się na mieliznę.
Z drugiej strony odpowiednio wybrane cele, oparcie o nie metryk biznesowych i technicznych wraz z dobrze zbieranymi danymi jest konieczne. Inaczej podejmowanie decyzji będzie jak wróżenie z fusów.
„To, jak mierzymy, wpływa na to, co robimy. Jeśli nasze sposoby pomiaru są wadliwe, to nasze decyzje mogą być błędne.” – Joseph E. Stiglitz
W tym wydaniu CŻ chciałbym się mocniej skupić na tym, jak ludzie mogą eksploatować metryki dla swoich korzyści. Jeśli temat Ci się spodobał, to proszę daj znać przez LinkedIna, maila zwrotnego czy Twittera.
Przykład 1) Efekt 🐍 w 🇮🇳
Efekt „kobry” odnosi się do wydarzeń z Indii z czasów kolonizacji brytyjskiej gdy prowincja Delhi została dotknięta poważną plagą kobr. Węże te rozmnożyły się do tego stopnia, że można je było spotkać na ulicach, targach a nawet w domach.
Władze brytyjskie zdecydowały się wyznaczyć nagrodę pieniężną za każdą przyniesioną głowę kobry. Początkowo przynosiło to oczekiwany skutek i populacja kobr znacznie spadła, jednak przedsiębiorczy ludzie zajęli się hodowlą gadów dla nagrody.
Kiedy władze zauważyły ten proceder, skasowały nagrodę. Nie opłacało się hodować węży na „odłów”, więc hodowcy wypuścili swoje kobry – i tak węże ponownie pojawiły się wszędzie, w większej niż przedtem ilości. Działania mające na celu zlikwidowanie problemu tylko go zaostrzyły.
W kontekście biznesu i mierzenia produktywności, „efekt kobry” jest metaforą opisującą sytuację, w której wprowadzone metryki i systemy nagród prowadzą do działań odwrotnych do zamierzonych lub niepożądanych skutków ubocznych.
Oto kilka sposobów, w jaki „efekt kobry” odnosi się do metryk:
- Mierzenie błędnie: Jeżeli firma nagradza pracowników za ilość wykonanej pracy, a nie jej jakość, może to prowadzić do pośpiechu, niedbałości i popełniania błędów.
- Niepełne metryki: Jeżeli mierzy się tylko pewne aspekty pracy, a inne pomija, pracownicy mogą skupić się tylko na tym, co jest mierzone, zaniedbując inne ważne zadania.
- Zachęty do manipulacji: Jeżeli metryki są powiązane z nagrodami lub karą, pracownicy mogą być kuszeni do manipulowania danymi, aby wyglądały korzystniej dla nich. Będą się skupiać tylko na określonych działaniach, aby maksymalizować swoje metryki, często kosztem klienta i całej firmy. Jednym z argumentów, aby sprzedawców nie nagradzać prowizją za sprzedaż, jest to, aby oni nie wykorzystywali klientów czy nie kradli między sobą leadów.
- Krótkoterminowe myślenie: Jeśli metryki skupiają się na wynikach krótkoterminowych, może to zachęcać pracowników do podejmowania decyzji, które przynoszą szybkie rezultaty, ale są niekorzystne w dłuższej perspektywie.
Aby unikać „efektu kobry” w metrykach produktywności, kluczowe jest dokładne zrozumienie tego, co chce się osiągnąć oraz uwzględnienie potencjalnych niezamierzonych konsekwencji wprowadzanych metryk.
Podobnym efektem „kobry” jest przykład szczurów w Hanoi (Wietnam Północny). Podczas francuskiej kolonizacji Wietnamu, władze oferowały nagrody za każdy zgłoszony szczurzy ogon. Chciano w ten sposób zwalczyć problem szczurów w Hanoi. Jednakże miejscowi łapali szczury, obcinając im ogony, po czym wypuszczali je z powrotem, by mogły rozmnażać się i dostarczać więcej ogonów.
Tutaj problemem było, że kasa była wypłacana per ogon, a nie ciało szczura. Nie opłacało się ubijać szczura 😉
Przykład 2) Programiści, błędy w kodzie i kasa.
„Metryka może być świetnym narzędziem do porównywania, ale fatalnym, jeśli staje się celem.” – Ben Yoskovitz
Każda firma pragnie, aby jej oprogramowanie było wolne od błędów. Ale co, jeśli sposób, w jaki starasz się osiągnąć ten cel, prowadzi do większej liczby błędów? Dokładnie to stało się w niektórych firmach, które wprowadziły system premii za każdy znaleziony i naprawiony błąd.
Wprowadzenie systemu premiowania za zgłaszanie błędów ma na celu zachęcenie programistów do pilnego poszukiwania i naprawiania potencjalnych problemów w kodzie. Wydaje się to idealnym rozwiązaniem – im więcej błędów znajdziesz, tym więcej zarobisz. Mniej błędów, to lepszy system.
Podobnie jak w przypadku „efektu kobry” w Indiach, system ten może zachęcać do niewłaściwego zachowania. Jeśli programista może zarobić więcej, tworząc, a następnie naprawiając własne błędy, może być kuszony, aby celowo wprowadzać drobne usterki, które później „odkryje” i „naprawi”. Stanie się on bohaterem dnia, produkt będzie lepszy i świat zostanie ocalony przed złem 😉
Chociaż większość firm nie chwali się otwarcie takimi sytuacjami, w kręgach branżowych krążą historie o tym, jak pewne systemy premiowe prowadziły do takiego właśnie zachowania. W jednej z nich, nieujawnionej przez względy bezpieczeństwa firmy, pracownicy celowo wprowadzali błędy, które były „trudne do znalezienia”, aby później zgłosić je pod koniec sprintu i zdobyć premię.
Niektóre firmy, zdając sobie sprawę z tego problemu, zmieniły strategię. Zamiast premiować za ilość naprawionych błędów, zaczęły premiować za jakość kodu i brak zgłoszeń błędów przez określony czas po wypuszczeniu oprogramowania. Inne wprowadziły systemy recenzji kodu, gdzie kod każdego programisty jest oceniany przez kolegów przed wdrożeniem.
Inne przykłady.
👉 W 2016 roku wyszło na jaw, że pracownicy amerykańskiego banku Wells Fargo otworzyli około 2 miliony nieautoryzowanych kont w imieniu klientów. Wynikało to z presji wywieranej na pracowników, aby osiągali wysokie metryki sprzedaży.
👉 W wielu krajach, w tym w USA i Polsce, wprowadzono systemy testów standaryzowanych w szkołach jako metrykę efektywności nauczania. Jednak skupienie na wynikach tych testów prowadzi do sytuacji, gdzie nauczyciele „nauczali do testu”, pomijając ważne aspekty edukacji.
👉 Wiele firm technologicznych, dążących do poprawy wskaźników takich jak „czas spędzony na stronie” czy „liczba kliknięć”, wprowadzało funkcje, które były uciążliwe dla użytkowników, ale zwiększały te metryki (np. autoplay wideo czy irytujące pop-upy). Działy marketingu były rozliczane z tych metryk, działy investor relations mogły pochwalić się „świetnymi” wynikami przed inwestorami.
Panie Michale, jak żyć…
„Nie wszystko, co liczy się, można zmierzyć, i nie wszystko, co można zmierzyć, liczy się.” – Albert Einstein (prawdopodobnie)
Właściwe podejście do metryk to nie tylko wybór odpowiednich wskaźników, ale także zrozumienie ich kontekstu i ograniczeń.
Porównuj metryki w kontekście
Zanim zdecydujesz się na konkretne metryki, zastanów się, co dokładnie chcesz zmierzyć. W IT, czy to chodzi o czas odpowiedzi serwera, błędy w kodzie czy satysfakcję użytkownika, ważne jest, aby metryka była adekwatna do celu.
Oto kilka historycznych przykładów, jak odpowiednie porównanie metryk prowadziło do sukcesów:
Netflix i algorytm rekomendacji:
Netflix zastosował porównanie metryk zachowań użytkowników z historią ich oglądania, aby stworzyć algorytm rekomendacji. Analizując, jakie filmy są często oglądane razem oraz jakie filmy mają wysokie oceny od podobnych użytkowników, firma była w stanie polecać bardziej trafne tytuły, co przyczyniło się do wzrostu retencji klientów.
Amazon i „Klienci, którzy kupili ten produkt, kupili także…”:
Amazon porównał historie zakupów użytkowników, aby stworzyć jeden z najbardziej skutecznych mechanizmów upsellingu i cross-sellingu. Analizując, które produkty często były kupowane razem, firma mogła proponować klientom dodatkowe produkty, zwiększając tym samym wartość koszyka zakupowego.
Rozumienie statystyki
Mierzenie średniej wartości, takie jak średni czas odpowiedzi serwera, może być mylące. Outliery, czyli wartości skrajne, mogą znacząco wpłynąć na średnią, przez co realny obraz sytuacji może zostać zniekształcony. W takim przypadku lepiej skupić się na percentylach, takich jak P95 czy P99, które pokazują, jakie są czasy odpowiedzi dla 95% czy 99% zapytań, pomijając skrajne przypadki.
Podobne zasady dotyczą biznesu. Jeśli firma chce ocenić satysfakcję klienta, nie może opierać się tylko na jednym wskaźniku, np. ocenie gwiazdkowej. Trzeba brać pod uwagę również opinie, skargi czy rekomendacje. Zrozumienie całego kontekstu pomoże w podejmowaniu właściwych decyzji.
I to było na tyle w tym wydaniu. Zachęcam do oceny newslettera klikając na buźki na dole maile i do napisania na LinkedInie.
Zapraszam do zapoznania się z linkami:
Bonus: sucharek
Biznesowa strona tworzenia aplikacji na iOS
https://www.ideamotive.co/ios/guide#what-is-ios
Sporo statystyk, rad dotyczących tworzenia aplikacji na iOS. Artykuł nie-techniczny.
Jedna aplikacja, do zebrania ich wszystkich 💍
https://tacoapp.com/
Aplikacja pozwala wyświetlić zadania z ponad 40 innych aplikacji, takich jak GMail, Jira, Basecamp, na jednym ekranie. Bardzo użyteczna rzecz dla osób, które muszą pracować z wieloma aplikacjami do zarządzania projektami/zadaniami.
LocalStack – lokalnie testuj serwisy AWS
https://awstip.com/run-aws-on-your-laptop-introduction-to-localstack-7269c19dedae
Aplikacja pozwala na lokalne testowanie ponad 60 usług AWS. Ciekawa opcja dla osób chcących przetestować usługi i nie płacić za nie.
Projekt przez komitet
https://sketchplanations.com/design-by-committee
Co się dzieje, jeśli produkt jest projektowany przez szeroki komitet, mający zadowolić jak najwięcej osób?
Raport Diversity w polskim IT
https://bulldogjob.pl/it-report/diversity
Raport Bulldog Jobs dotyczący praktyk „inclusive”, „deivresity” w polskich swiecie IT
Bloki czasowe w kalendarzu
https://todoist.com/pl/productivity-methods/time-blocking
Artykuł o tym, jak zarządzać czasem w kalendarzu w formie rezerwacji bloków na np. pracę, trening, rodzinę. Bardzo lubię to podejście do produktywności, bo pozwala w pełni skupić się na jednej rzeczy – łatwiej mi się wchodzi w pracę głęboką.
Szczera reklama recyklingu
https://www.youtube.com/watch?v=_riGg2BW8Jw
Spojrzenie z przymrużeniem oka na branżę „recyklingu.”
Firma, zarządzanie, biznes – zestawienie linków
https://github.com/LappleApple/awesome-leading-and-managing
Świetne zestawienie linków do różnych zasobów np. artykułów, kursów, książek związanych z prowadzeniem firmy, zarządzaniem, byciem liderem. Jak ktoś lubi takie zestawienia to polecam wyszukiwać repozytoria na githubie z hastagiem #awesome
Przewodnik inżyniera w zarządzaniu zespołem
https://github.com/raylene/eng-handbook
Otwarty podręcznik dla kierowników zespołów inżynieryjnych. Sporo praktycznych porad.
Gry Ejżura
https://learn.microsoft.com/pl-pl/training/cloud-games
Zestaw kilku ciekawych wyzwań e-learningowych uczących narzędzi dostępnych na chmurze Azure.