När AI går fortare än organisationen – experten löser kvalitetsproblem

AI-satsningar symboliserar ofta innovationsförmåga, snabbrörlighet och prestige. Samtidigt kräver de noggrann styrning för att inte urholka förtroende, arbetsmiljö och legitimitet. I takt med AI:ns snabba utveckling blir frågan om kvalitetssäkring av AI allt viktigare.

Kvalitetsmagasinet gav test- och kvalitetsrådgivaren Fredrik Scheja vid Sogetilabs i uppgift att analysera ett fiktivt kvalitetsproblem. Fallet speglar en typisk situation för många organisationer som vill arbeta mer AI-drivet, men ännu inte har rätt strukturer på plats:

Ett tjänsteföretag har implementerat en AI-modell i sin kundservice för att automatisera första linjens ärenden. Effektiviteten sköt i höjden – fler ärenden hanterades snabbare än någonsin. Men snart började klagomålen strömma in. Kunden upplever att svaren är inkonsekventa, ibland felaktiga och ibland oförklarligt avvisande. Ingen i organisationen kan egentligen förklara hur AI:n kommer fram till besluten; dokumentationen är bristfällig och riskanalysen gjordes ”i efterhand”. Samtidigt vill ledningen inte bromsa initiativet eftersom AI-projektet ses som ett strategiskt flaggskepp. Medarbetarna är splittrade: vissa är entusiastiska, andra rädda att bli ersatta. Hur etablerar man en robust, etiskt hållbar och kvalitetssäkrad styrning kring AI – innan den gör mer skada än nytta?

Fredrik Scheja lyfter fram begreppet humanitet som centralt för användningen av AI.

– Det är organisationens ansvar att få kunden att känna sig sedd och hörd och förstådd, samtidigt som beslut tas på ett rättvist sätt.

Fredrik Scheja arbetar just nu med att ta fram ett ramverk för det han kallar mänskligt hållbara beslutssystem – humanITet. Utgångspunkten är att kvalitet i komplexa system inte bara handlar om vad som beslutas, utan hur besluten formas: vilka frågor som ställs, vilka värden som väger tyngst, vems kunskap som räknas och hur hårda åtgärder som tas. Forskning om normer och maktstrukturer har lagt grunden till en fyrdimensionell modell för att mäta och förbättra AI-systems förmåga att agera rättvist och transparent. Modellen är uppbyggd utifrån:

Frågestil & samtalslogik: Hur frågor ställs och dialogen hanteras. Undviker systemet att tvinga in komplexa ärenden i förenklade ja/nej-svar?

Normram & värdebalans: Vilka normer och värden styr beslutet. Är ekonomisk effektivitet, exempelvis, balanserad med etik, kundvård och långsiktig tillit?

Kunskapssyn & epistemisk rättvisa: Vilken kunskap och vems perspektiv räknas. Beaktas olika sorters data och expertis, och kan beslut förklaras så att de drabbade förstår?

Sanktion & proportionalitet: Hur kraftiga åtgärder AI-systemet tar till och om de står i proportion till problemet. Finns mildare alternativ, och motiveras varje åtgärd öppet och begripligt? 

Fredrik Scheja applicerar modellen på det fiktiva kundservicefallet.

1. AI-modellen pressade in kundernas komplexa ärenden i standardmallar och binära val – vilket ledde till svar som inte passade frågorna.
   
   Åtgärd: Lär AI:n att hantera nyanser genom öppnare frågor och möjlighet att be om förtydliganden. När osäkerhet råder ska ärendet lämnas över till en människa istället för ett slentrianmässigt eller avvisande svar.
   
2. Projektet drevs ensidigt av effektivitetsmål och “image”, medan kvalitetsvärden som korrekthet, kundnöjdhet och etik hamnade i skymundan.
   
   Åtgärd: Gör normer explicita och jämbördiga – formalisera att kunders värdighet, rättvisa och trygghet är lika viktiga som produktivitet. Justera AI:ns KPI:er så att den ”belönas för rätt” svar och nöjda kunder, inte bara antal hanterade ärenden. 
3. Ingen i organisationen förstod AI:ns beslutslogik – ett kunskapsvakuum som urholkar förtroendet.
   
   Åtgärd: Kräv förklarbar AI (Explainable AI) – systemet ska kunna redogöra för varför ett visst svar gavs. Dokumentera träningsdata och antaganden öppet. Involvera även kundtjänstpersonalens erfarenheter i utvecklingen: deras kunskap om kundernas behov och vanliga frågor bör väga tungt, så att AI:n inte ”hallucinerar” svar som saknar grund. Olika perspektiv (teknik, kundupplevelse, risk) bör löpande utvärdera AI:ns prestationer för att undvika blinda fläckar. 
   
4. AI:n gav ibland oproportionerligt stränga eller abrupta besked (t.ex. avslog kundens begäran utan förklaring), vilket skadade kundrelationen.
   
   Åtgärd: Begränsa AI:ns autonomi i känsliga frågor – vid minsta tvekan ska ärendet eskaleras i stället för att riskera ett felaktigt beslut. Eventuella nekande svar eller åtgärder som innebär en ”sanktion” för kunden (som avslag, avstängning etc.) måste motiveras tydligt och helst beslutas av en människa. Detta säkerställer att åtgärderna är rimliga och att kunder får en chans till dialog. 

Genom att använda modellen som analysverktyg går det att fånga varningssignaler tidigt och kalibrera om.

– När kunderna börjar svika oss utan att förstå varför, då är det ett tecken på att man släppt för mycket fritt till algoritmerna. När AI får oss att känna oss både blinda och döva.

– Allting börjar och slutar med människan. Om människan har gjort fel historiskt kommer algoritmerna att amplifiera det.

Det är inte tekniken i sig som är grunden till alla utmaningar, utan sättet vi förhåller oss till AI.

– Det är lätt att mänskliga aspekter går förlorade. Använder man AI som en mer intelligent Google så fördummas man.

Istället förespråkar Fredrik Scheja att se på AI som ett bollplank för att upprätthålla en intelligent och värdefokuserad dialog när inte andra alternativ finns tillgängliga. Samtidigt är det viktigt att vara medveten om att AI inte är en egen naturkraft utan enbart amplifierar mänskligt beteende.

– AI är inte bara kod, utan systemet bakom bygger på människor. Och människor gör fel och har gjort fel genom tiderna, säger Fredrik Scheja.