ARTIKEL | Odysseus

Är vi närmare Ithaka eller har vi bara klickat mer?

Aktivitet är lätt att mäta. Progression, förmåga och verklig effekt är svårare - och 

KÄRNIDÉ

Mätning är värdefull när den hjälper någon att förstå vad som händer och agera bättre. Men en signal är inte samma sak som resultatet vi egentligen bryr oss om.

Om Odysseus hade haft en modern dashboard hade den kunnat se fantastisk ut.

Seglade sjömil: rekord.

Antal hanterade incidenter: skyhögt.

Engagemang: närmast oslagbart.

Problemet är bara att han fortfarande inte är hemma.

Det är en ganska bra påminnelse om mätning.

Om Odysseus hade haft en modern dashboard hade den kunnat se fantastisk ut.

Seglade sjömil: rekord.

Antal hanterade incidenter: skyhögt.

Engagemang: närmast oslagbart.

Problemet är bara att han fortfarande inte är hemma.

Det är en ganska bra påminnelse om mätning.

Vi mäter gärna det som lämnar digitala spår

Digitala system gör aktivitet synlig.

Inloggningar.

Klick.

Completion.

Tid i systemet.

Antal svar.

Antal genomförda aktiviteter.

Det är inte dåliga mått.

De kan säga något viktigt om adoption, friktion och om ett flöde överhuvudtaget används.

Problemet uppstår när vi glömmer vad de är: signaler.

Completion är inte samma sak som kompetens

Det är lätt att se i lärande.

En utbildning kan vara 100 procent genomförd utan att någon kan använda kunskapen i en verklig situation.

En onboarding kan vara klar i systemet samtidigt som personen fortfarande inte vet hur hon ska agera när det första undantaget dyker upp.

Ett förändringsprogram kan ha fantastiska deltagarsiffror utan att ett enda viktigt beteende ändras.

Det betyder inte att vi ska sluta mäta completion.

Det betyder att vi behöver veta vilket steg i kedjan vi faktiskt mäter.

En enkel mättrappa

1. Aktivitet: Gjorde personen något?
2. Förståelse: Förstod personen vad som skulle göras och varför?
3. Kompetens: Kan personen använda kunskapen eller färdigheten?
4. Beteende: Används den i den verkliga situationen?
5. Resultat: Förändrades något som individen eller organisationen faktiskt bryr sig om?

Allt behöver inte mätas hela tiden. Det skulle skapa ett nytt problem.

Men vi behöver veta vilken nivå en siffra tillhör innan vi börjar kalla den effekt.

I boken The Tyranny of Metrics och den obekväma frågan

Jerry Z. Muller beskriver metric fixation: tron att standardiserade mått kan ersätta omdöme, kontext och professionell bedömning.

Problemet blir större när måttet kopplas till belöning, ranking eller sanktion.

Då börjar människor optimera siffran.

Det är rationellt.

Om organisationen säger att 100 procent completion är målet kommer system och människor gradvis att bli väldigt bra på completion.

Frågan är om verkligheten samtidigt blir bättre.

En bra kontrollfråga till varje dashboard är: Kan den här siffran förbättras utan att det vi egentligen bryr oss om blir bättre?

Om svaret är ja är måttet en signal, inte resultatet.

Feedback ska hjälpa nästa handling

Flow-forskningen betonar tydliga mål och snabb återkoppling som delar av en engagerande aktivitet.

Det är viktigt eftersom feedback inte bara ska rapportera vad som redan hänt.

Den ska hjälpa nästa handling.

En dashboard som säger att 37 personer ligger efter men inte hjälper någon att förstå varför eller vad som bör göras har begränsat operativt värde.

Data blir mer användbar när den kopplas till ett beslut:

Vem behöver stöd?

Vilken del av flödet skapar friktion?

Vilken grupp har förstått men ännu inte börjat tillämpa?

Vilket innehåll verkar inte hjälpa?

Vad bör vi testa annorlunda nästa gång?

Ledande signaler och verkliga resultat

En annan fälla är att kräva slutlig verksamhetseffekt från varje enskild aktivitet.

Det går inte alltid.

Vissa resultat tar månader eller år.

Därför behöver vi ledande signaler som kommer tidigare, men utan att förväxla dem med slutmålet.

Första meningsfulla handlingen kan vara en bra tidig signal.

Ökad självständighet kan vara en annan.

Färre supportärenden i ett visst moment kan vara en tredje.

Men det kräver att vi hela tiden kan säga vad signalen är tänkt att förutsäga.

Hur vi tänker på det i Bizpart

I Bizpart vill vi att uppföljning ska vara en del av flödet, inte en rapport som öppnas en gång i kvartalet.

Olika roller behöver olika information.

En användare behöver förstå sin progression.

En chef behöver se var stöd behövs.

En processägare behöver se mönster och avvikelser.

En organisation behöver kunna koppla aktivitet till kvalitet, beteende och resultat där datan faktiskt tillåter det.

Och varje viktig mätpunkt bör helst ha en möjlig handling kopplad till sig.

Annars riskerar dashboarden att bli ett väldigt avancerat sätt att titta på saker.

I Odysséen hade antal seglade sjömil varit en bedrövlig KPI. Frågan är inte hur mycket vi rör oss. Frågan är om vi kommer närmare Ithaka.

Underlag och avgränsning

Artikeln är inte ett argument mot kvantitativa mått. Den argumenterar för att mått behöver tolkas i relation till mål, beslut, kvalitativ kontext och risk för feloptimering.

Vilken mättrappa som är rimlig beror på användningsfall och datakvalitet.

Källor

• Muller, J. Z. (2018). The Tyranny of Metrics. Princeton University Press.

• Csikszentmihalyi, M. (1990). Flow: The Psychology of Optimal Experience. Harper & Row.

• Bizparts modell- och teoribank om metric fixation, gaming the metrics, progression, feedback och effektmätning.