Bäste kvalitetsarbetare, är du en målvakt eller kanske en målande? En målande är en ande som vakar över organisationens mål, ser till att de är förnuftiga och uppdateras vid behov. Men för att ha ett mål måste du först ha en KPI… (Det duger inte med ’Indicator’ eller ’Performance Indicator’, nej det skall vara ’Key Performance Indicator’, det ser mer förtroendeingivande ut.)
Men hur svårt kan det vara – man bakar ihop några olika värden med hjälp av de fyra räknesätten och vips har vi en KPI. Det går ibland fort, alltför fort kan det visa sig.
Inte sällan vill man att ett nyckeltal skall bli litet och då gäller det att få tag på en stor nämnare under bråkstrecket. Som t.ex. det stora bilföretaget som fick lov att peta in alla deras el-bilar i nämnaren då man beräknade gasutsläpp per bil… Flygbolag är duktiga på att få in ’miljoner passagerarkilometer’ i nämnaren. Passagerare eller flygstolar…
KPIn är ett numeriskt tal, ett lägesmått, som alltså förväntas visa var och hur vi står. Avsaknad av info om dess spridning kan visa sig vara mycket besvärlig, vilket jag återkommer längre ned.
En KPI kallas ibland för en statistika, och läroböckerna beskriver ett antal, ibland motstridiga, krav som en sådan skall uppfylla. Den skall vara lätträknad, den skall vara ’unbiased’ det vill säga peka rätt på det vi mäter och inte vid sidan om, den skall ha liten variation, den skall vara robust (men inte alltför robust!), etcetera. Men låt oss titta på några KPI som jag blivit involverad i:
NPS. Vi hade detta (Net Promoter Score) i en organisation. Det fungerar så att man frågar ett stickprov personer om de är för företaget eller om de är emot eller om de inte har någon åsikt. Antalet blev n1 ’Ambassadörer’, n2 ’Ingen åsikt’ och n3 ’Kritiker’ och indexet blev (n1 – n3)/(n1 + n2 +n3)*100. Det kunde bli både negativt eller positivt (positivt om andel ’Ambassadörer’ övervägde). Tanken var att man skulle upprepa detta för att se utvecklingen över tid.
Men låt oss titta på indexet och ta två exempel. Antag n1 = 4, n2 = 92 och n3 = 4. Index blir 0 men den stora majoriteten har alltså ingen åsikt, trist.
Antag i stället att n1 = 46, n2 = 8 och n3 = 46. Index blir återigen 0 men nu har vi två stora block mot varandra, något att bita i!
Men dessa något konstruerade invändningar var inte det allvarligaste. Vi tog oss före och gjorde en matematiskt statistisk analys av indexet (proportioner kan tyckas vara lätta monster men är mycket svåra, dessutom har problemet ett inneboende beroende).
Analysen visade att vid måttliga stickprov typ 30 – 100 uppvisar indexet stor slumpmässig variation mellan stickproven, även om proportionerna inte ändrats!
Första gången min grupp gjorde ett stickprov bland medlemmar fick vi ett mycket gott resultat, vilket förstås gjorde oss malliga! Nästa gång, några månader senare fick vi ungefär lika stort men dåligt resultat (de var då vi började den teoretiska analysen. (Kan erhållas på begäran.)). Indexet försvann sedermera ut åt vänster…
Return Rate. Jag arbetade några år med konsumentelektronik och som ett mantra mumlade man ’return rate’ som index på kvalitetsnivån. Även nyanställda var indoktrinerade före första arbetsdagens slut. Jag ifrågasatte indexet och bad om definition. Naturligtvis betraktades jag som om jag ifrågasatte Newtons andra rörelselag, men efter lite grävande fick jag reda på att täljaren var antal returer från kund och nämnaren antal levererade. Självklart, eller hur!
Men ’antal levererade’ var från vår organisation till underleverantör men produkternas vidare öden var inte kända för oss, förutom returer förstås, de kom blixtsnabbt.
Jag simulerade två scenarior där produkterna hade exakt samma felkvot – ett där en veckas leveranser omedelbart kom i användarnas händer och ett där det dröjde några veckor innan produkten nådde användarna.
I scenario två ackumulerades således nämnaren vilket gjorde att indexet fick en mycket lägre siffra vid start. Det blev ju till allmän förnöjelse, äntligen hade kvalitetsarbetet burit frukt. Men med tiden konvergerade bägge tidsserierna, det tog dock sin tid… Så egentligen var det ett illa valt index för att sköta kvalitetsarbetet, speciellt så där i efterhand. Men jag lyckades aldrig rubba tron på ’return rate’, begreppet var så ingrott även långt upp i hierarkin och man ifrågasätter inte trosvissa sanningar.
Median. Median är en gammal trotjänare inom dataknådande. Det är ju det värde som delar mätresultat i två lika stora delar (antalsmässigt). Medianen är mest känd i lönestatistik och där utnyttjas dess robusthet, dvs medianens värde påverkas inte av extrema värden (ett medelvärde påverkas).
Men denna robusthet är också något som kan utnyttjas på annat sätt. I södra Stockholm fanns det ett företag som skötte datatrafiken för andra organisationer. Man följde antal störningar per tidsenhet (typ vecka) och redovisade medelvärdet. Men eftersom nivån på störningarna inte var inom kontroll blev ibland medelvärdet besvärande inför kunderna. Så men bytte – diskret – till att redovisa medianen i stället och plötsligt blev siffrorna mer robusta och kunderna lugnade.
Tågtider. När jag skriver detta säger nyheterna på radion att 92% av tågen var i tid. En sådan indikator är en styggelse och borde få varje kvalitetsarbetare att rysa. Alltså, att förvandla en värdefull variabel, ’tid’, till en procentsats är mer än dumt. Då skiljer man inte på en försening på två minuter och en försening på tre timmar. Dessutom har olika tågbolag olika tidsintervall för ’OK’. Och en kvalitetsförbättring fixas ju lätt med att förlänga ett ’OK’-tidsintervall…
Teoretisera mera! Fundera noga på dina KPIer, undersök dem på olika sätt. En formell matematisk analys kan vara komplicerad men simulera data som du matar till KPI-beräkningen. Gör olika känslighetsanalyser genom att ändra på indata – kommer din KPI att reagera? Finns det konflikter mellan olika KPI? (Ibland har jag känslan att vissa får ge vika om profiten hotas…).
Avslutningsvis
Som vanligt – liera dig med någon matematiskt kunnig som har ett lämpligt datorprogram och ett stambord på puben!
– Ingemar Sjöström, vd Umia AB