Forklarbarhed. Et nyt ord i cybersikkerhed-regi? Måske ikke helt nyt, men givetvis et begreb vi kommer til at forholde os meget mere til fremover. Forklarbarhed er ikke begrænset til cybersikkerhed – men det er her, meget af diskussionen omkring begrebet finder sted lige nu.
En af de helt væsentlige keynotes på dette års RSA konference kom fra Bruce Schneier*, som de fleste, der har arbejdet med Cybersikkerhed i mange år, har stiftet bekendtskab med.
AI vs. AI
Der er fokus på AI overalt også hos alle producenter af løsninger til Cybersikkerhed.
Uden AI kan de enorme datamængder, der nødvendigvis skal analyseres, på ingen måde blive analyseret i tide til at nå at stoppe et Cyberangreb.
Men hvad sker der når alle disse AI løsninger kommer på markedet? Så har vi både AI til at angribe og AI til at forsvare…AI vs. AI…og netop dette fremkalder en diskussion i forhold til ”Capability vs. Explainability”. Det var hovedfokus på Bruce Schneiers begavede indlæg.
Hvornår skal AI kunne forklares?
Hvis man benytter en AI til at finde nye oliefelter, så er man glad, når det lykkes, men behøver reelt ikke bekymre sig, når det ikke lykkes. Og en forklaring på hvordan AI fandt frem til et nyt oliefelt er da interessant men ikke et must.
Det er noget helt andet, når AI benyttes til at bestemme hvilke fængselsindsatte, der skal benådes, eller hvilke unge der får plads på et givent studie. Så er det pludselig en ret at få at vide, hvad der ligger til grund for konklusionen.
Schneier fortalte også om et stort studie fra sundhedssektoren. En AI løsning analyserede 600.000 cases og lavede diagnoser baseret på den viden, der var beskrevet. Dette blev sammenholdt med de faktiske diagnoser, der blev lavet i disse cases. AI var bedre og mere præcis i de fleste tilfælde. AI kan altså redde live og lemmer kan man sige. Så det bør bruges…
Men hvad med de situationer hvor AI tager fejl, og det vil ske. Der har man i meget høj grad brug for at forstår, hvordan en given konklusion blev fundet.
Explainability, altså forklarbarhed er en helt afgørende ting her. Men de AI løsninger der laves har (endnu) ikke mulighed for at dokumentere beslutningsvejen, og det gjorde Bruce meget ud af at forklare – og forklare vigtigheden af.
Der investeres enorme summer i AI til Cybersikkerhed, og det vil betyde at en AI løsning vil fortælle om noget er skidt eller godt, og som resultat heraf vil en række ting ske. Det kan fx være, at et procesanlæg holdes i gang på et forkert grundlag og en ulykke sker; Eller at samme anlæg lukkes ned uden grund med andre store følger.
At kunne forklare og forstå hvorfor noget besluttes er helt afgørende. Nogen skal potentielt stilles til ansvar, vi skal altid (ALTID) lære af vores fejl og forsøge at forhindre, de sker igen osv.
Dette er pt. en meget stor udfordring i AI løsningerne, og vi bør alle stille krav og forventninger til dette i vores arbejde med AI.
Første værre, så bedre med AI til software sårbarheder
Vi skal ikke være sortsynede, når det kommer til AI. Det vil løse mange væsentlige udfordringer for os. Men vi skal meget bevidste om faldgruberne.
Et spændende område er sårbarheder i Software. Alle kender til den konstante patching af services og systemer. De fleste er altid nogle versioner bagud. Basal Cybersikkerhed såkaldt Cyberhygiejne er uhyre vigtigt og uhyre tidskrævende og rigtig bøvlet.
Dette område vil blive meget værre med tilgængeligt AI. Værre de første år, og så bedre…
AI vil blive brugt til at identificere sårbarheder i alt Software, ukendte måder at udnytte funktioner på osv. som designerne/udviklerne aldrig havde forestillet sig. Brugen af AI på angrebssiden vil finde nye veje og huller – og udnytte dem. Det bliver altså værre.
MEN efter noget tid vil man kunne benytte AI til forsvar, og på sigt vil AI helt eliminere sårbarheder i software-løsninger, måske bygget direkte ind i compilere, der genererer Software.
AI tænker ud af boksen men skal kunne forklares
Tilhængere af AI fortæller, at det er et spørgsmål om at stille bedre krav og mål for AI løsningerne og fodre dem med endnu flere og bedre data. Men som Bruce gjorde meget ud af at forklare, kan vi aldrig specificere ALT, og vi kan ikke lære en AI løsning alle vores værdier, så de reagerer som os. En AI løsning kan i den grad tænke ud af boksen, da den ikke har en nogen ide om begrebet ”boksen”, og kan komme med mange uventede løsninger, men forklarbarhed er et must.
*Note 1:
Bruce Schneier er en international anerkendt Cyber sikkerheds reference. The Economist har døbt ham en ”Cyber Guru” hans meget læste bøger om Cyber sikkerheds emner (14 i alt) og blogs kan findes her
Læs om konferencen her