Larmet från Novus vd: Ovetenskapliga opinionsmätningar förstör förtroendet

Problemen uppstår när enskilda aktörer drar ner förtroendet för vad Torbjörn Sjöström menar är mer seriösa aktörer. Företagets Demoskops resultat, som används av bland annat Svenska Dagbladet och Aftonbladet, avviker ständigt kraftigt från konkurrenterna Novus, Ipsos och Verians statistik.

– Två oberoende undersökningar bör ge samma resultat, annars är det något som inte stämmer. SCB använder samma vetenskapliga metod som vi gör – så det här ställs på sin spets när vi dränks i politiska undersökningar och en aktör plötsligt levererar helt avvikande resultat, säger han.

När det inte finns tydliga regelverk kring hur opinionsföretag utför undersökningar, och alltså inte krav på att använda evidensbaserade metoder, riskerar branschens förtroende att urholkas, menar Torbjörn Sjöström.

– Det blir ett systemhot. Rent teoretiskt kan ett mätningsinstitut ha fel en gång, men om mätningarna systematiskt avviker från övriga aktörer som använder vetenskapliga metoder har vi ett stort problem. Det blir också en fråga om nyhetsredaktionernas prestige, om några enstaka nyhetsredaktioner länge har haft samma leverantör kan det vara svårt att backa på sitt beslut – för det innebär ju att man har publicerat felaktig information under flera års tid, säger han.

Om man jämför med resten av världen är Sverige generellt sett ett oerhört säkert undersökningsland, medan det i många andra länder finns utbredda problem med icke tillförlitlig statistik förklarar Torbjörn Sjöström.

– Titta på Brexit till exempel. Hela världen trodde att Storbritannien skulle stanna i EU – istället lämnade de. Diskussionen kring opinionsföretagens ansvar för demokratin är viktig, men den är också svårt eftersom vi alla är kommersiella företag. Risken blir därför att man upplevs tala i egen sak snarare än i vetenskapens sak, säger han.

Han jämför situationen med något mer konkret än sin egen bransch.

– Om man istället pratar om att brygga broar så kommer ju människor att bli smärtsamt medvetna om en leverantör plötsligt struntar i fysikens lagar. Inom brobygge finns det också tydliga standarder. I vår bransch finns det bara ett mått. Det är frivilligt och heter ”Gold standard”, vilket indikerar att man är något över det vanliga. Men det finns inget lägre än guld, det finns i§ngen lägstanivå, säger han.

För att säkerställa god kvalitet i opinionsmätningsbranschen finns det tre grundbultar att förhålla sig till, enligt Torbjörn Sjöström.

– Först och främst handlar det om att säkerställa att gruppen man ska intervjua kommer från ett slumpmässigt urval, så att man inte bara ställer frågor om städhjälp hos människor som bor på Östermalm till exempel, säger han, och fortsätter:

– Det andra är att man ska ställa neutrala frågor utifrån ett ämne som respondenten kan svara på. Det ska inte heller föras in någon ny information under intervjutillfället, eftersom det riskerar att påverka personens svar. Det tredje är att man som undersökningsbolag är helt oberoende i sina mätningar. Vi ska inte ha några som helst kommersiella intressen och kunder ska inte kunna köpa ett resultat av oss.

De företag som använder Gold standard kommer med 95 procent säkerhet att kunna garantera att deras mätresultat rör sig inom felmarginalen. Om alla använde den enda standarden som finns att tillgå skulle branschen kunna få ett större förtroende från offentligheten, förklarar Torbjörn Sjöström.

– Det känns som att vi hela tiden hamnar i en diskussion om huruvida jorden är rund eller inte, istället för att kunna fördjupa oss i samhällstrender och stötta myndigheter i deras undersökningar, avslutar han.

Läs Demoskops svar på kritiken här.