KI vs. Mensch: Der Aufstieg des AI-CISO

Foto: Blue Planet Studio – shutterstock.com

Würde man eine Liste der Entwicklungen erstellen, mit denen sich CISOs am häufigsten beschäftigen, stünde KI sicherlich ganz oben auf der Liste. CISOs und Cybersicherheitsexperten sehen gleichzeitig enorme Risiken, Chancen und potenziellen Wohlstand in der Einführung von maschinellem Lernen (ML) und anderen KI-Entwicklungen.

Zudem wird KI laut dem IBM Global AI Adoption Index 2022 bereits von mehr als einem Drittel der Unternehmen eingesetzt. Mindestens 40 Prozent erwägen mögliche Anwendungen.

Wenn KI in absehbarer Zukunft eine zentrale Säule der Cybersicherheit wird, lohnt es sich, über eine Merkwürdigkeit im Diskurs über ihren Nutzen zu sprechen. Die Rolle der menschlichen Nutzer und der maschinellen Systeme, die im Idealfall viele der Sicherheits- und Wirtschaftsprobleme der digitalen Welt lösen, wird oft auseinandergehalten.

Die Interaktion zwischen Maschinen und Menschen wird dualistisch gesehen. Maschinen sind demnach Werkzeuge, die in verschiedenen Bereichen spezielle Vorteile bieten, während der Mensch einen Großteil der operativen Kontrolle behält.

KI-CISOs: Autoritäten für Taktiken, Strategien und Ressourcen

Diese Tendenz ist bis zu einem gewissen Grad verständlich. Ohne die Entwicklung einer glaubwürdigen künstlichen Intelligenz (AGI), die meschliche Handlungen besser simulieren kann, werden KI-Systeme in der Tat nichts weiter sein als eine begrenzte, aber leistungsstarke Technik, um Aufgaben zu erfüllen. Selbst generative KI-Anwendungen, die zunehmend bestimmte Bereiche der Industrie zu revolutionieren scheinen, sind lediglich Musterdetektoren, die bei begrenzten Eingaben beeindruckende Vorhersagefähigkeiten bieten.

Gleichzeitig sindjedoch Unterstützungssysteme auf einer breiten Basis im Einsatz, die auf Grundlage menschlicher Einschätzungen arbeiten. Schließlich werden Werkzeuge und Modelle, die strategischen, moralischen und wirtschaftlichen Präferenzen von Unternehmen im Laufe der Zeit simulieren können, mehr Verantwortung gegenüber den menschlichen Akteuren erhalten.

Das Ergebnis ist, vereinfacht ausgedrückt, das Aufkommen von KI-CISOs. Sie werden de facto als Autoritäten für die Taktiken, Strategien und Ressourcenprioritäten ganzer Organisationen fungieren. Die heutigen menschlichen CISOs sollten darüber nachdenken, was dies für ihr Unternehmen bedeutet.

Lesetipp: Wäre GPT ein guter CISO?

KI-Wettrüsten zwischen Angreifern und Verteidigern

Stellen Sie sich das folgende Szenario vor. Wir befinden uns einige Jahre in der Zukunft und KI-gestützte Cyber-Kampagnen aller Art – Spionage, Angriffe auf kritische Infrastrukturen – werden immer häufiger. Die durchschnittliche Kompromittierung von Systemen der Privatwirtschaft erfolgt um mehrere Größenordnungen schneller als im Jahr 2023.Die Rendite eines Angriffs pro Zugriffsstunde ist für Cyberkriminelle zwei- bis dreimal höher als heute.

Dies gilt jedoch nicht für Situationen, in denen defensive KI – ob intern entwickelt oder von Cybersicherheitsunternehmen bezogen – als Gegenmaßnahme eingesetzt wird, um Angriffe zu vereitel. Solche Gegenmaßnahmen sind jedoch kein Allheilmittel. Vielmehr handelt es sich um wirksame Instrumente, die sich jedoch in einem ständigen Beta-Zustand zu befinden scheinen. Die Logik des Wettrüstens beim Lernen der gegnerischen KI bedeutet, dass eine gute Verteidigung zu einem verbesserten Angriff führt.

Das logische Ergebnis einer solchen Situation ist der KI-CISO. Schließlich wird das, was so lange in menschlicher Hand lag, zwangsläufig in den Zuständigkeitsbereich von KI-Reaktionssystemen übergehen. Dazu gehören nicht nur grundlegende Aufgaben, die auf Entscheidungsregelwerke reagieren, sondern auch dynamische. Zum Teil könnte dies die Auswahl defensiver – oder aktiver – Verteidigungstaktiken und die Analyse der gegnerischen Strategie bedeuten.

Aber es geht auch um Werturteile und moralische Überlegungen. Die Entscheidung, welche Arten von Daten oder Datenzugriffen vorrangig geschützt werden sollten, enthält von Natur aus variable ethische Grundlagen, die sich auf Aktionärsinteressen, staatsbürgerliche Verantwortung, Gewinnkennzahlen, Governance-Grundlagen und Compliance-Standards beziehen. An einem bestimmten Punkt treffen menschliche Intelligenz und maschinelle Intelligenz in sinnvoller Weise aufeinander.

Lesetipp: Wie CISOs Risiken von KI abwägen können

Vor- und Nachteile einer Allianz von KI-CISOs und Menschen

Wie bereits angedeutet, birgt die Zusammenarbeit zwischen KI und Mensch potenzielle Vorteile in sich. Aber es gibt auch besorgniserregende Auswirkungen. Wenn der KI-Verteidiger von morgen als eine Art verteilte Schnittstelle zwischen Maschine und Mensch zu betrachten ist, dann müssen die heutigen Planer erkennen, dass die menschliche Handlungsfähigkeit in Zukunft eher repräsentiert als aktiv eingesetzt wird.

Die Vorteile des Aufbaus von Systemen, die de facto die Kontrolle über verschiedene Facetten der Cybersicherheit haben, liegen auf der Hand. Wenn ein KI-Wettrüsten, das sich an der Entwicklung bösartiger Bedrohungen für Unternehmen orientiert, unvermeidlich ist, dann sind KI-CISOs der Schlüssel dazu, dass die Verteidiger mithalten können. Da der Zeitrahmen, um auf Vorfälle zu reagieren, immer kürzer wird, werden Systeme, die Bedrohungen schnell erkennen und analysieren, mit ziemlicher Sicherheit dort ihre Stärken ausspielen, wo menschliche Mitarbeiter nicht mithalten können.

Ebenso werden die Metriken, die sich aus dem Einsatz solcher Systeme ergeben, mit ziemlicher Sicherheit zu iterativ besseren Produktionen von maschinellen Lernmodellen führen. Diese weisen klare Wertstrukturen auf, die sich für die Priorisierung von Bedrohungsabwehrmaßnahmen eignen. Kurz gesagt: Effizienz ist der klare Vorteil des KI-CISOs.

Der Vorteil für die Cybersicherheits-Governance

Für die Cybersicherheits-Governance könnte sich auch ein Vorteil ergeben. Seit einiger Zeit sind Experten für Cybersicherheit besonders besorgt über die Gefahr einer Kaskade negativer Folgen, die sich aus der Erweiterung von Tools durch KI ergeben könnten. Der Börsencrash von 2010 wird oft als Beispiel für dieses Alptraumszenario angeführt, bei dem viele Dinge schneller schief gehen können, als ein Mensch sie verhindern kann.

In diesem Fall verlor der Dow-Jones-Index innerhalb von 36 Minuten fast 1.000 Punkte, als automatisierte Verkaufsalgorithmen auf merkwürdige Marktbedingungen reagierten. Der Grund warein versehentlicher Verkauf um mehrere Größenordnungen außerhalb der normalen Parameter, wie es oft heißt. Der Markt erholte sich zwar wieder, doch die Folge davon war ein Verlust von mehr als einer Billion Dollar, der ausschließlich auf interagierende Algorithmen zurückzuführen war. Die Logik, die dieser allgemeinen Befürchtung zugrunde liegt, könnte auch in Sachen KI-CISOs eine Rolle spielen.

Der Einsatz von KI-Produkten, die bewährte Praktiken aus einer Reihe gemeinsamer Branchenerfahrungen lernen, bedeutet eine Standardisierung des Wissens darüber, wie Cyberabwehr in der Praxis abläuft. Sowohl für Regierungen als auch für private Governance-Initiativen bietet die Kaskade solcher Aktivitäten als neue Normalität der Cyberverteidigung verlockende Anknüpfungspunkte, um gemeinsame Regeln sowohl formell als auch informell zu koordinieren.

Das Potenzial für Fehltritte

So verlockend die Vorstellung von KI-CISOs auch sein mag, die die Prioritäten und Sicherheitsanforderungen menschlicher Operatoren effektiv übernehmen und gegen die zunehmenden offensiven KI-Bedrohungen umsetzen können, so groß ist auch das Potenzial für Fehltritte.

Die Gefahr von Ungenauigkeiten und Fehlinterpretationen bei der Nutzung von KI-Systemen ist sehr groß. Selbst wenn man davon ausgeht, dass defensive KI-Systeme innerhalb akzeptabler Grenzen der Benutzerfreundlichkeit gebracht werden können, besteht die Gefahr, dass die Menschen glauben, sie würden Ergebnisse kontrollieren. Dies könnte zum Teil auf die Bereitschaft zurückzuführen sein, KI-Systeme als das zu akzeptieren, was sie zu sein scheinen – mächtige Prognosewerkzeuge. Die Forschung über die Interaktion zwischen Maschine und Mensch zeigt uns jedoch, dass es noch mehr zu beachten gibt.

Aktuelle Studien haben gezeigt, dass Unternehmen und Führungskräfte dazu neigen, Systeme übermäßig zu nutzen, wenn die paradigmatische Transformation einer bestehenden Unternehmensfunktion versprochen wurde oder bereits große Investitionen in eine bestimmte Anwendung getätigt wurden. Im Wesentlichen bedeutet dies, dass die Grenzen dessen, was bei solchen Beschaffungen möglich ist, allmählich über das hinausgehen, was praktikabel ist. Das gilt vor allem, weil die positiven Assoziationen, die die Beteiligten mit “guter Geschäftspraxis” verbinden, zu Tunnelblick und Wunschdenken führen.

Tendenz zur Vermenschlichung

Bei der KI geht diese Tendenz noch weiter. Wie bei jeder neuen technologischen Entwicklung neigen die Menschen dazu, der KI zu viele positive Eigenschaften zuzuschreiben, da sie für fast jede Aufgabe eine entscheidende Veränderung bedeutet. Psychologische Studien haben jedoch auch gezeigt, dass die Anpassungsfähigkeit von KI-Systemen die Benutzer dazu drängt, sie zu vermenschlichen.

Nehmen wir an, ein Cybersicherheitsteam eines Finanzunternehmens nennt sein neues KI-Tool “Freya”, weil der eigentliche Name der Anwendung “Forensic Response and Early Alarm” lautet. Indem das Team sein KI-System gegenüber Führungskräften, Aktionären und Mitarbeitern als Freya bezeichnet, vermittelt es seinem maschinellen Kollegen eine menschliche Qualität. Wie die Forschung zeigt, neigt der Durchschnittsmensch dadurch zu Annahmen über Vertrauenswürdigkeit und gemeinsame Werte, die möglicherweise keine Grundlage in der Realität haben.

Die möglichen negativen Auswirkungen einer solchen Entwicklung sind zahlreich. So werden Unternehmensleiter davon abgehalten, menschliche Talente einzustellen, weil sie ein falsches Gefühl von Kapazität haben, oder sie sind bereit, unangenehme Informationen über das Versagen der KI-Systeme anderer Unternehmen zu ignorieren.

Wird die Abhängigkeit von KI-Systemen zum Verlust menschlicher Fachkenntnisse führen?

Abgesehen von diesen möglichen Schattenseiten des kommenden Zeitalters der KI-CISOs gibt es auch betriebliche Realitäten zu berücksichtigen. Wie mehrere Forscher festgestellt haben, wird der Einsatz von KI-Systemen wahrscheinlich zu einem Verlust von Fachwissen in Unternehmen führen, die ansonsten die Ressourcen für die Einstellung von Fachkräften haben und weiterhin an deren Fähigkeiten interessiert sind.

Schließlich bedeutet die Automatisierung von immer mehr Elementen im Lebenszyklus der Reaktion auf Cyberbedrohungen, dass Menschen aus der Entscheidungsschleife entfernt werden oder diese minimiert wird. Dies könnte geschehen, wenn Unternehmen feststellen, dass ein menschlicher Fachmann nur selten benötigt wird, um den einen oder anderen Bereich der KI-Systemverantwortung zu überwachen. Wahrscheinlicher ist jedoch, dass es zu einem Verlust von Fachwissen kommt, da diese Personen weniger zu tun haben, was sie dazu veranlasst, in andere Rollen in der Branche oder sogar in andere Bereiche zu wechseln.

Dadurch fehlt es an Kontrollen, die verhindern, dass sich Voreingenommenheit und Emotionen auf Sicherheitssituationen auswirken. Die Verflachung der menschlichen Belegschaft in einem Unternehmen rund um neuartige KI-Fähigkeiten impliziert auch ein schlechteres Verhältnis zwischen strategischer Planung und taktischen Realitäten.

Das kommende Zeitalter der KI-CISOs ist mit dem Potenzial für autonome Cyberkonflikte verbunden, die eher aus Fehlern in den zugrunde liegenden Modellen, schlechten Daten oder seltsamen Pathologien in der Art und Weise, wie Algorithmen interagieren, entstehen. Diese Aussicht ist besonders besorgniserregend, wenn man bedenkt, dass KI-CISOs unweigerlich eine Ansammlung von eingebrannten moralischen und sozioökonomischen Annahmen sein werden. Dies deutet zwar auf eine Normalisierung der Verteidigungshaltung hin, bildet aber auch die Grundlage dafür, dass die menschlichen Qualitäten von KI-Systemen systematisch genutzt werden können, um Schwachstellen zu schaffen.

Die Mensch-Maschine-Symbiose ist im Kommen

Die Erkenntnis, dass das logische Ergebnis der Entwicklung, auf der wir uns heute befinden, eine De-facto-Symbiose zwischen menschlichen und maschinellen Systemen ist, ist für Sicherheitsplaner von größter Bedeutung. Der KI-CISO ist weit weniger ein “was sein könnte” als vielmehr etwas, das unweigerlich eintreten wird . Wir werden weniger Kontrolle über die Cybersicherheit haben. Um sich bestmöglich auf diese Zukunft vorzubereiten, müssen Unternehmen schon heute den Wert der cyberpsychologischen Forschung und die Ergebnisse der Arbeit an technologischen Innovationen berücksichtigen.

Insbesondere Unternehmen in der Privatwirtschaft täten gut daran, die Situation zu vermeiden, dass ein KI-CISO, der von ethischen und anderen soziologischen Annahmen durchdrungen ist, ohne vorherige Planung entsteht. Jeder Betrieb, der in Zukunft eine robuste KI-Fähigkeit als Teil seiner Betriebsbereitschaft ins Auge fasst, sollte sich intern eingehend damit befassen, wie die praktischen und ethischen Prioritäten der Verteidigung aussehen.

Dies wiederum sollte zu einer formellen Erklärung der Prioritäten und zu einem Gremium führen. Es ist damit beauftragt, diese Prioritäten regelmäßig zu aktualisieren, um veränderten Bedingungen Rechnung zu tragen. Jede Organisation verfolgt das Ziel, die Vereinbarkeit zwischen den praktischen Ergebnissen des KI-Einsatzes und diesen vorher festgelegten Annahmen sicherzustellen. Aber wenn man wartet, bis die KI-Systeme bereits einsatzbereit sind, riskiert man Ergebnisse, die mehr durch den KI-Einsatz als durch eine unabhängige Bewertung geprägt sind.

Anwendung der Zehn-Personen-Regel

Jedes Unternehmen, das in der Zukunft einen umfassenden Einsatz von KI plant, tut gut daran, eine Mitarbeiterkultur und -struktur zu schaffen, die sich an der Zehn-Personen-Regel orientiert. Diese Regel besagt, dass jede Situation, die zu einem Konsens unter den relevanten Interessengruppen führt, in Frage gestellt und neu bewertet werden muss.

Mit anderen Worten: Wenn neun von zehn Fachleuten einer Meinung sind, ist es die Pflicht des zehnten, nicht zuzustimmen. Die Verankerung eines solchen Grundsatzes der gegenläufigen Aufsicht im Herzen der internen Schulungs- und Umschulungsverfahren kann dazu beitragen, einige der möglichen Fehltritte auszugleichen, die durch den Verlust von Fachwissen und Kontrolle infolge des Aufstiegs von KI-CISOs entstehen.

Schließlich ist ein branchenübergreifendes Lernen darüber, was bei der KI-Cybersicherheit und den entsprechenden Tools funktioniert, ein Muss. Insbesondere gibt es starke Marktanreize, Produkte auszuprobieren, die zwar praktisch sind, aber in anderen Bereichen wie der Transparenz der zugrunde liegenden Modellannahmen, der Trainingsdaten oder der Systemleistung zu wünschen übrig lassen. Cybersicherheitsunternehmen müssen mehr als bei jeder anderen technologischen Entwicklung die Auswahl des Günstigen gegenüber dem Besten vermeiden. Wenn sie dies nicht tun, könnte das kommende Zeitalter der KI-CISOs mehr Fallstricke als Versprechen bergen. (jm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.