Forskaren: Sluta utvärdera innovationssatsningar kortsiktigt

Traditionella utvärderingar av innovationsmodeller handlar om att utvärdera antalet patent och publikationer. Det är mätningstyper som blir förlegade när moderna hållbarhetssatsningar kan ha helt andra typer av värden.

Caroline Resende Haddad har i sin avhandling studerat hur de nya utvärderingsmetoderna skulle kunna se ut. Hon menar att dagens utvärderingar av innovationsmodeller bör inkludera en förståelse för hur politiska insatser bidrar till omvandlingen av samhällen och tekniker för att bli mer hållbara.

– Detta inbegriper väldigt komplexa aktiviteter som är ett resultat av flera ansträngningar och under långa perioder. Dessutom kräver det mycket av beslutsfattare och utvärderare, med tanke på att de borde vara medvetna om vilka typer av resultatinsatser som bör prioriteras och utvecklas, säger hon.

Traditionell utvärdering av innovationspolitik fokuserar fortfarande alldeles för mycket på att bevisa ansvarsskyldighet med hjälp av kostnadsanalys, det vill säga om de resurser som används för att genomföra politiska insatser har använts effektivt för att uppnå önskade resultat.

Enligt Caroline Resende Haddad glömmer man då ofta bort att belysa indirekta fördelar som innovationsmodellerna medför.

– Det är mycket viktigt att förstå vilken typ av resultat som modellerna medför, i flera olika lager. Det sträcker sig från att förstå hur interventioner bidrar till kunskapsutveckling, att bilda nya marknader, att stödja nya företag att komma in på marknader, med mera. Detta kommer också med en uppmaning att inte fokusera alltför mycket på ansvarsskyldighet, säger hon.

Hon framhåller att myndigheter som exempelvis Vinnova redan har gjort mycket för att driva nya typer av utvärderingar men att behovet växer i takt med klimathoten.

På vilket sätt skulle du vilja fortsätta studera detta ämne?

– Det finns många saker att fortsätta studera inom detta ämne. Till exempel behöver vi se över indikatorer som används för utvärdering. Dessutom kvarstår frågan om hur vi kan utforma mer ”transformativa” förändringsteorier. Teorin ger många insikter, men att implementera dem i praktiken är något som kräver ytterligare forskning.

Carolina Resende Haddad och hennes forskarkollegers sex faktorer för optimal innovationsutvärdering

• Behovet av att bredda omfattningen av utvärdering bortom kortsiktiga mål, med mål som är anpassade för att leverera sociotekniska systemförändringar, som är långsiktiga och utgår från förändringar i flera aspekter av samhällen och teknologier.
• Framtida initiativ bör inte bara fokusera på att bygga upp nya nätverk eller stödja ekonomisk tillväxt. De måste också ta hänsyn till förändringar i flera innovationsprocesser, såsom behovet av att skapa nya marknader för hållbar teknik och innovation, behovet av att stödja förändringar i regler och förordningar för att möjliggöra antagandet av mer hållbara lösningar.
• Det är mycket viktigt att främja avvecklingen och avvecklingen av nuvarande praxis och policyer som inte stöder sociotekniska systemförändringar.
• Förstå att man behöver utveckla en utvärderingsstrategi som kombinerar olika typer av utvärdering, såsom förhandsutvärdering, löpande utvärdering, övervakning och utvärdering i efterhand.
• Man måste gå bortom ansvarsutkrävande för att också fokusera på lärande utvärdering. Det innebär att man kombinerar utvärdering för ansvarsskyldighet och utvärdering för lärande, vilket möjliggör anpassning av politiska insatser.
• Behovet av att redogöra för resultaten av dessa insatser snarare än att bara mäta resultat som publikationer och patent. Sådana resultat är relaterade till hur interventioner bidrar till att förändra samhället och teknologier mot hållbarhet.