Tv: ”Det går inte att bedöma det så” – när statistiken lurar ögat

Kvalitetsmagasinets Utbildnings-tv ger läsarna fördjupning i aktuella ämnen inom kvalitet, ledarskap och verksamhetsutveckling.

I serien om statistiks tredje del fortsätter Ingemar Sjöström att visa hur statistik kan användas för att förstå vad som faktiskt händer i en verksamhet – och varför den första, till synes självklara tolkningen inte alltid håller.

– Det går inte att bedöma det så. Vi måste ha en metod, säger Ingemar Sjöström och visar hur en till synes tydlig utveckling i ett diagram kan vara betydligt mer komplicerad än den först ser ut.

• Bedöm inte utvecklingen med ögonmått. En serie datapunkter kan ge intrycket att ingenting har hänt, trots att en verklig förändring pågår. Stickprovens storlek och den naturliga variationen påverkar hur resultatet ser ut.
• Följ förbättringen medan den sker. Om målet är att exempelvis minska en felkvot från tio till en procent behövs metoder som tidigt visar om utvecklingen går åt rätt håll – inte en summering först när året är slut.
• Bryt ner siffrorna. Ingemar Sjöström demonstrerar Simpsons paradox: två grupper kan var för sig utvecklas åt ett håll samtidigt som det sammanlagda resultatet går åt motsatt håll. Det som ser motsägelsefullt ut kan vara matematiskt helt korrekt.
• Redovisa osäkerheten. Ett procenttal är en uppskattning, inte hela sanningen. Med konfidensintervall blir det tydligare hur stor osäkerheten är och vilka slutsatser data faktiskt tillåter.
• Jämför teori med verkliga data. Med simuleringar och binomialfördelningen visas hur till synes ovanliga resultat ibland kan förklaras av ren slump – en viktig insikt innan verksamheten börjar leta efter orsaker och vidta åtgärder.

Ingemar Sjöströms budskap i del 3 är att bra beslutsunderlag kräver mer än procentsatser och snygga diagram: genom att förstå variation, osäkerhet och hur data är sammansatta blir det lättare att avgöra vad som verkligen behöver åtgärdas.

– Det är så här ni använder modell och data för att säga: det här är slumpmässighet, det fungerar på det här sättet, säger Ingemar Sjöström.

Se avsnittet här:

Missat de tidigare avsnitten?

Se del 1, där Ingemar Sjöström uppmanar chefer att vara ifrågasättande till den data som läggs fram.

Och fortsätt med del 2: ”Visa variation – räkna inte bara ut en procentsats”.

Ordlista

Binomialfördelning

En sannolikhetsfördelning som beskriver hur många gånger ett visst utfall kan förväntas inträffa i ett bestämt antal försök, när varje försök har två möjliga utfall – exempelvis fel eller inte fel. Den hjälper till att bedöma om ett observerat resultat kan förklaras av slumpmässig variation.

Simpsons paradox

Ett statistiskt fenomen där ett mönster i flera separata grupper kan förändras eller till och med bli det motsatta när gruppernas resultat slås samman. Paradoxen visar varför totalsiffror och procentsatser kan vara missvisande om man inte undersöker hur data är sammansatta.