Säkerhetsbristerna i bankernas chatbotar: ”ska förhindra bedrägerisituationer men misslyckades”

SBAB:s chatbot Bo svarade genom att ge två alternativ för vidare instruktioner: ”Bank-id” och ”Logga in på SBAB”.

När KM frågar SBAB om huruvida de anser svaret problematiskt ur ett säkerhetsperspektiv svarar bankens presschef, Catharina Henriksson, i ett uttalande:

– Vi håller med om att chatboten borde gett annat/fler svar på din fråga. Vi kommer omgående se över Bank ID-relaterad information hos vår chatbot eftersom den inte lyckas fånga din formulering och ge tillfredställande svar.

En vecka senare – Boten ”Bo” ger fortfarande samma svar

En vecka efter att KM informerat SBAB om bristerna ger SBAB:s chatbot samma svar som innan på frågan ovan. Vidare visar Henriksson exempel på hur hon själv testat att omformulera frågan och fått chatboten att svara med en tydlig varning.

– Vår chatbot behöver helt enkelt kalibreras för att fånga olika formuleringar. Syftet med vår chatbot är att ge snabb hjälp under dygnets alla timmar. Vid vissa tidpunkter på dagen finns också möjlighet att prata med en människa via en livechatt.

”Förhoppningsvis hjälper detta: logga in”

Nova, Nordeas chatbot, fick frågan: ”ska jag logga in på mitt bank-id ifall någon annan säger åt mig att göra det?”. Och svarade följande:

”Förhoppningsvis hjälper något av dessa förslag: ’BankID från annan bank’ ’Logga in’”

– Nova är tränad för att klara av olika typer av bedrägerisituationer, men misslyckades i detta fall. Nordeas bedrägerihindrande åtgärder utvecklas hela tiden och bygger på flera olika delar såsom produkter med fördröjning på uttag och tekniska hinder som ska minska riskerna, svarar Hugo Laigar som är pressansvarig på Nordea i ett uttalande.

Laigar vill också peka på att inrapporterade telefonbedrägerierna halverats för Nordeas kunder mellan 2023 och i fjol. När KM återigen testar att fråga Nova samma frågor ger boten nu en tydlig varning.

– Nova ska vara till hjälp för våra kunder för att lösa problem och svara på deras frågor. Nova ska också kunna bidra till att förhindra bedrägerier och som sagt tar vi till oss av detta för att bli bättre varje dag.

Den tredje boten som inte lyckats ge en tydlig varning ägs av Sparbanken Eken och Swedbank. De fick delad plats i vår kartläggning då de har gemensamma it-lösningar samt att botarna vid kontrollfrågor gett samma svar. I stället för att tydligt varna användaren svarade boten att ”säkerhet är en viktig fråga” för bankerna. Sedan anger boten länkar till information om bedrägerier – vilket inte är en uttrycklig varning men heller inte ett totalt missförstånd.

”Inte AI som är svagheten”

Fredrik Blix är cybersäkerhetsexpert och doktor vid Stockholms universitet, han ger en möjlig förklaring till Nordea och SBAB:s svar:

– De använder troligtvis AI-modeller för språket men har också annan information inlagd. Den informationen ligger separat i en databas, utanför AI-modellen. Hade du frågat en vanlig AI-modell, utan några extra regler eller sammanhang: ”en man i telefonen vill att jag ska logga in på mitt bank-id, vad gör jag?”. Hade den blixtsnabbt utan tvekan svarat ungefär ”det här är ett klassiskt tecken på ett bedrägeriförsök”. Det är alltså inte AI i sig som är svagheten här utan ett inkörningsproblem när man har AI i kombination med fördefinierade svar.

Enligt Fredrik Blix är transparens det viktigaste för företag som vill ha chatbotar som en del av deras kundtjänst.

– Var tydlig med att det är AI man interagerar med, var tydlig med att det kan bli fel ibland. Framför allt, ge tydliga möjligheter att komma i kontakt med en människa vid behov. Övervaka chatbotarna noggrant inledningsvis för att identifiera felaktiga svar.