Det behöver vi bli bättre på för att inte styra fel
Förbättringsarbete
Vi är för dåliga på att tolka statistik. Det resulterar i att vi drar fel slutsatser och gör fel insatser. Det menar Mattias Elg, som just utkommit med en ny bok om konsten att mäta.
Förstå, förutse och förbättra är titeln på Mattias Elgs nya bok. Han är professor och centrumchef för Helix competence center vid Linköpings universitet och har fokuserat mycket av sitt arbete och sin forskning på offentlig sektor.
Någonting är fel
Läs vidare – starta din prenumeration
Varför behövs den här boken nu?
– Den har sitt ursprung i en rapport som jag skrev för Innovationsrådet 2013, Mätningar för bättre styrning, som använts flitigt av praktiker i offentliga verksamheter. Men under alla år som jag jobbat tillsammans med SKR, med satsningar i socialtjänsten och så vidare så har jag sett att det finns ett gap mellan behovet av att jobba med statistik och att jobba med verksamhetsutveckling. De två världarna har inte riktigt mötts, utan man har upplevt att statistiken varit för knepig. Många saknar en matematiska botten. Jag har i boken gjort resan från den avancerade statistiken till behoven. Jag tar även upp forskning inom psykologi som är väldigt intressant.
Vilka är de vanligaste felen när det kommer till mätningar?
– Det främsta är att vi agerar på slumpmässig variation, som om det vore en signal eller en avvikande händelse. Vi agerar helt enkelt när vi inte borde agera. Då blir det överstyrning. Folk vet inte skillnaden mellan slump och systematisk variation. Jag brukar ta exemplet med en tärning. Utfallet 1–6 är slump. Men skulle du få en sjua (!) då har du en signal. Då behöver du fundera på vad som har hänt. En fyra behöver du inte fundera över.
Hur vanligt är det att det blir så fel?
– Det är svårt att säga. Men vi människor är i grunden sådana att vi vill se mönster, det är här den kognitiva psykologin kommer in. Det är ett nedärvt beteende från tidernas begynnelse på savannen när vi skulle upptäcka faror. Det gör att vi ofta är snabba att fatta beslut baserade på vår intuitiva känsla. Men sedan visar det sig att den intuitiva känslan inte sällan är fel…
Det brukar ju sägas att vi alla tycker att vi är lite smartare än genomsnittet, lite bättre bilförare och så vidare. Hänger det här ihop när vi litar på vår intuition?
– Absolut – och det gäller inte minst experter! Det är ganska ofta som experter har fel, visar forskningen. Det skulle vara spännande om man kikade på det nu efter pandemin till exempel. Alla experter har ju olika utgångspunkter när de gör sina analyser.
Vilka konsekvenser kan det få?
– Det finns alla möjliga situationer där man gör för mycket. Ett administrativt typexempel är när man baserar budget på föregående års utfall och kompenserar beroende på vad utfallet visar. Då riskerar man att överstyra för det finns alltid en inbyggd variation i förhållande till utfall. Sedan har vi alla variationer i medicinska resultat; man sätter in åtgärder beroende på enskilda observationer trots att det är en slump som man ser. Man kanske bemannar en akutmottagning utifrån enskilda händelser och riskerar en missmatch. Som en kursdeltagare sa: ”det handlar om att vila i variation”. Jag tycker att det är ett väldigt bra uttryck!
Vad krävs för att fatta rätt beslut utifrån ett statistiskt underlag?
– I slutet av boken har jag citerat Richard J. Heuer Jr, som skrev manualen för CIA-agenter. Vi behöver kompetensen för den statistiska analysen, förstås. Men, menar Heuer, det avgörande är reflektion och förmågan att ifrågasätta sina egna åsikter.
Så här lyder citatet:
“Analysis is, above all a mental process. Traditionally analysts at all levels devote little attention to improving how they think. To penetrate the heart and soul of the problem of improving analysis, it is necessary to better understand, influence, and guide the mental process of analysists themselves.”
(Heuer, 1999.)
