Der große KI-Risiko-Guide

Foto: Lerbank-bbk22 | shutterstock.com

Wie jede Technologie birgt auch künstliche Intelligenz (KI) nicht nur Vorteile. Insbesondere seit dem Aufkommen von Generative AI (GenAI) und der explosionsartigen Verbreitung entsprechender Tools und Lösungen ist es für Unternehmen wichtiger denn je, die Risiken in Zusammenhang mit KI zu kennen. Entsprechend steht das Thema GenAI bei Rechts-, Compliance- und Datenschutzverantwortlichen einer Gartner-Umfrage zufolge in den nächsten zwei Jahren ganz oben auf der Agenda.

Um KI-Risiken entgegenzuwirken, neue Bedrohungen zu minimieren sowie Compliance und Datenschutz zu gewährleisten, müssen Anwenderunternehmen ihr KI-Engagement gründlich bewerten, Risiken abwägen und Richtlinien sowie Strategien definieren. Die Bewertungsstrategien unterscheiden sich dabei je nach Art der eingesetzten KI-Lösung. Ganz allgemein lassen sich die Risiken in Zusammenhang mit der Technologie in drei Kategorien einteilen:

• interne KI-Projekte,

• KI-Lösungen von Drittanbietern sowie

• schadhafter KI-Einsatz durch Bedrohungsakteure.

Im Folgenden nehmen wir die einzelnen Bereiche ausführlich unter die Lupe.

Interne KI-Risiken bewerten

Um Risiken bewerten zu können, müssen Unternehmen im ersten Schritt wissen, wie künstliche Intelligenz intern eingesetzt wird. Um das zu bewerkstelligen, bieten sich zwei Möglichkeiten.

1. Frameworks für Risiko- und Qualitätsmanagement

Das Softwareunternehmen Abbyy bewertet und quantifiziert die Performance seiner KI-Modelle schon seit einigen Jahren. Dafür verwendet das Unternehmen Frameworks für Risiko- und Qualitätsmanagement – unter anderem das ISO Risk Management Framework. Spezielle Risikomanagement-Frameworks für künstliche Intelligenz werden derzeit erarbeitet – sowohl in den USA als auch in Europa.

Warum Abbyy für seine internen GenAI-Projekte in erster Linie auf ältere Frameworks setzt, erklärt Andrew Pery, AI Ethics Evangelist beim KI-Softwarespezialisten, folgendermaßen: “Diese Frameworks sind noch sehr rudimentär. Es ist noch zu früh, sie zum Einsatz zu bringen. Unser Kernprodukt extrahiert Daten und Inhalte aus Dokumenten und wir haben spezifische Genauigkeitsziele für unsere traditionellen KI-Modelle.”

Laut einer Wiz-Untersuchung bei 150.000 Public-Cloud-Accounts kommen in 70 Prozent der Cloud-Umgebungen inzwischen Generative-AI-Dienste zum Einsatz – vornehmlich Azure AI (wozu auch Open AI gehört), Amazon SageMaker und Google Clouds Vertex AI. Die beliebteste KI-Plattform ist dabei mit 53 Prozent die von OpenAI. Dicht gefolgt von Hugging Face und anderen Open-Source-Projekten. Diese KI-Modelle bergen für Unternehmen diverse Risiken, beispielsweise mit Blick darauf, dass eingegebene Daten für das KI-Modelltraining verwendet werden.

Ein umfassender Überblick darüber, welche KI-Lösungen wo zum Einsatz kommen, ist deshalb unerlässlich. Laut Priya Iragavarapu, VP of Technology Services bei der Unternehmensberatung AArete, erfordert das sowohl einen Top-Down- als auch einen Bottom-Up-Ansatz: “Unternehmensentscheider sollten Prozesse, bei denen KI beteiligt ist, überprüfen und mit dem KI-Governance-Team diskutieren. Wenn die Führungskräfte nicht wissen, welche KI wo verwendet wird, kommt der Bottom-up-Ansatz ins Spiel: Alle Endpunkte im Unternehmen werden getrackt, um die Systeme und Benutzer zu finden, die auf KI-Anwendungen zugreifen.”

Das stelle keine perfekte Lösung dar, gibt die Beraterin zu: “Es gibt immer noch Dinge, die unter den Tisch fallen. Aber an dieser Stelle kommt der Aspekt einer gründlichen Schulung beziehungsweise Weiterbildung ins Spiel, um Mitarbeiter vor selbstverschuldeten Dummheiten zu bewahren.”

2. Eigene AI Deployment Frameworks

Unternehmen sollten auch ein Framework dafür aufsetzen, wie KI-Modelle im Sinne ihrer jeweiligen Compliance-Umgebung und Risikotoleranz eingesetzt werden. So könnten etwa einige Anwendungsfälle erfordern, dass sämtliche KI-Outputs manuell überprüft werden müssen. “Es gibt mehrere Risikodimensionen, die für generative KI relevant sind”, erklärt Iragavarapu. “Wie viele Menschen sind davon betroffen? Wie groß ist der Impact?” AArete arbeitet mit einigen Unternehmen zusammen, um sie dabei zu unterstützen, diese Risiken zu messen. Für einige Branchen existieren auch bereits erste Generative-AI-Risiko-Benchmarks.

Das ist ein Bereich, auf den sich jetzt diverse Beratungsunternehmen konzentrieren – Ernst & Young zum Beispiel hat einen “AI Confidence Index” entwickelt. Kapish Vanvaria, Risk Markets Leader bei EY Americas, erklärt, was es damit auf sich hat: “Unser Vertrauensindex basiert auf fünf Kriterien – Datenschutz und Sicherheit, Bias und Fairness, Verlässlichkeit, Transparenz und Erklärbarkeit und schließlich die Verantwortlichkeit. Das ist die eine Achse des Indexes. Die andere umfasst Compliance und ethische Grundsätze. So lässt sich eine Heatmap der verschiedenen Prozesse erstellen und eine gewichtete Bewertungsmethode auf jeden einzelnen anwenden.”

Im Bereich Recht und Compliance seien diese Berechnungen relativ einfach, weil sie auf Scoring-Werten basierten. In anderen gebe es hingegen mehr Ermessensspielraum, so der EY-Entscheider: “Ein Unternehmen könnte beispielsweise den Reifegrad anhand von Faktoren wie einer Richtlinie zur akzeptablen KI-Nutzung bewerten. Sie können numerische Punktzahlen anwenden, um die Grundlinien zu messen, und wenn sich das Ziel verändert entsprechende Änderungen vornehmen.”

Drittanbieter-KI-Risiken bewerten

Datenschutz- und Sicherheitsprobleme in Zusammenhang mit Drittanbieter-Services sind nicht neu. Potenziell könnte jeder Anbieter – egal, ob es um E-Mail-, Marketing- oder Daten-Services geht – Zugriff auf sensible Daten haben und diese unter Umständen sogar an seine jeweiligen Partner weitergeben. Risiken dieser Art zu minimieren, war schon vor Generative AI eine Herausforderung für Unternehmen – jetzt haben die Sicherheitsentscheider und ihre Teams gar keine andere Wahl mehr, als wachsam zu sein.

Schließlich könnten Tools, die bislang nicht als Sicherheitsrisiko galten, etwa für die Bildbearbeitung, inzwischen über GenAI-Funktionalitäten verfügen – die hochgeladenen Informationen also bei einer KI landen. Um das zu verhindern, müssen in erster Linie sämtliche Verträge und Nutzungsbedingungen genau studiert und im Auge behalten werden. Darüber hinaus kann ein dediziertes Risikomanagement-Team für Drittanbieter dazu beitragen, Risiken zu minimieren.

Greg Notch, CISO beim Security-Anbieter Expel, hat noch einen Tipp auf Lager, wenn es darum geht, die Zeichen am Horizont zu deuten: “Wenn ein Anbieter intern neue KI-Funktionen entwickelt, kann eine Änderung seiner Datenschutzrichtlinie ein erster Hinweis darauf sein. Bleiben Sie wachsam!”

In diesem Zusammenhang entfaltet auch die europäische Datenschutzgrundverordnung (DSGVO) positive Wirkung. Sie verpflichtet Anbieter dazu, offenzulegen, wenn sie mit Subunternehmern zusammenarbeiten.

Externe KI-Bedrohungen bewerten

Generative KI wird längst auch zu unlauteren Zwecken genutzt, etwa um (Spear)-Phising-Emails zu generieren. Das stellt die Sicherheitsteams in Unternehmen zunehmend vor Probleme, wie CISO Notch konstatiert: “Jede Organisation will sich vor Business E-Mail Compromise schützen. Allerdings sind die Indikatoren dafür, dass es sich um eine nicht koschere E-Mail handelt, sowohl für Menschen als auch für Maschinen immer schwieriger zu erkennen. Künstliche Intelligenz ist in der Lage, E-Mails und Webseiten nahezu perfekt zu fälschen.”

Perys Arbeitgeber Abbyy arbeitet deswegen gezielt mit Sicherheitsanbietern zusammen, die sich auf GenAI-Bedrohungen spezialisiert haben. Dennoch sind die KI-Risiken schwer zu quantifizieren. An dieser Stelle sollen künftig neue Frameworks Abhilfe schaffen – etwa die vom Cybersecurity-Experten Daniel Miessler 2023 veröffentlichte “AI Attack Surface Map“. Sasa Zdjelar, Chief Trust Officer beim Supply-Chain-Spezialisten ReversingLabs, rechnet damit, dass demnächst auch größere Organisationen nachziehen: “CISA, NIST, die Cloud Security Alliance, ENISA und andere werden spezielle Task Forces bilden, die sich mit diesen neuen Bedrohungen befassen.”

Bis es soweit ist, können Unternehmen prüfen, wie gut sie die Grundlagen beherrschen. Dazu gehört beispielsweise, zu überprüfen:

• ob alle Endpunkte geschützt sind;

• ob alle User Multi-Faktor-Authentifizierung nutzen;

• wie gut die Mitarbeiter Phishing-Versuche erkennen;

• wie groß der Rückstand in Sachen Patching ist;

• zu welchem Grad Zero-Trust-Prinzipien die IT-Umgebung abdecken.

Diese grundlegenden Hygienemaßnahmen können leicht unter den Tisch fallen, wenn neue Bedrohungen auftauchen.

Darüber hinaus können Firmen auch hinsichtlich neuer und aufkeimender Threats tätig werden, wie Sean Loveland, COO vom Sicherheitsanbieter Resecurity, nahelegt: “Offensive Cyber Threat Intelligence und KI-spezifisches Threat Monitoring können Informationen über neue Angriffsmethoden und Schwachstellen liefern sowie darüber, wie diese monetarisiert werden. Es gibt zum Beispiel ein Produkt namens ‘FraudGPT’, das über das Dark Web und Telegram vertrieben wird.” Dass kriminelle Hacker KI-Tools inzwischen in erheblichem Umfang nutzen, kann auch Greg Stewart, Vice President Artificial Intelligence bei SentinelOne, bestätigen: “Wir beobachten eine starke Zunahme von adaptiver und polymorpher Malware, die sich autonom verbreitet.”

Davon abgesehen ist GenAI jedoch auch in der Lage, das Angriffsvolumen drastisch zu steigern. Eine Untersuchung (PDF) der Threat-Intelligence-Experten von SlashNext kommt zum Ergebnis, dass die Anzahl bösartiger Phishing-E-Mails zwischen Ende 2022 und dem dritten Quartal 2023 um 1.265 Prozent angestiegen ist. Das Weltwirtschaftsforum identifiziert in seinem “Global Risks Report 2024” ein weiteres, erhebliches Risiko für Unternehmen: KI-generierte Fehl- und Desinformationen. Schließlich können sich entsprechende Fake News schnell drastisch auf den Aktienkurs eines Unternehmens auswirken.

Risikobehaftete Aussichten

“Unternehmen müssen sich darauf konzentrieren, einen ganzheitlichen Plan zu erstellen, um den Stand der generativen KI in ihrem Unternehmen zu bewerten”, hält Paul Silverglate, Technology Leader bei Deloitte USA, fest. Er ergänzt: “Sie müssen zeigen, dass es für das Unternehmen wichtig ist, es richtig zu machen und darauf vorbereitet zu sein, schnell zu reagieren und Abhilfe zu schaffen, falls etwas passiert.”

Wie wahrscheinlich es ist, dass das genau so und zeitnah passiert, ist mit Blick auf eine aktuelle Riskonnect-Survey unter 300 Risiko- und Compliance-Entscheidern fraglich:

• 93 Prozent der Unternehmen rechnen mit erheblichen Bedrohungen im Zusammenhang mit generativer KI.

• Dennoch geben nur 17 Prozent der Teilnehmer an, das gesamte Unternehmen in Bezug auf GenAI-Risiken geschult oder informiert zu haben.

• Lediglich neun Prozent sind nach eigenen Angaben darauf vorbereitet, diese Risiken zu managen.

Eine ähnlich gelagerte ISACA-Umfrage unter mehr als 2.300 Fachleuten aus den Bereichen Audit, Risiko, Sicherheit, Datenschutz und IT-Governance kommt darüber hinaus zum Ergebnis, dass lediglich zehn Prozent der Befragten über eine umfassende Generative-AI-Richtlinie verfügen. Noch schlimmer: Mehr als ein Viertel der Befragten plant auch nicht, eine solche zu entwickeln. Gravierende Fehler, wie Silvergate erklärt: “Trust ist der heilige Gral. Wenn Sie das Vertrauen ihrer Kunden verlieren, wird es sehr schwer zurückzugewinnen sein.” (fm)

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser Newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.

Jetzt CSO-Newsletter sichern

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.