AI Act: Wie Europas KI-Gesetz CISOs fordert

Foto: European Union

Die Europäische Union (EU) konnte sich Anfang Dezember 2023 nach mehr als zwei Jahren zähen Ringens auf den AI Act verständigen. Das neue, europäische KI-Regelwerk soll dabei darauf abzielen, Verbraucherrechte zu stärken und Innovation zu fördern. In Kraft treten kann der AI Act der EU frühestens im Jahr 2025 – zuvor muss der Gesetzesentwurf jedoch noch von EU-Parlament und -Rat abgesegnet sowie in nationales Recht der Mitgliedsländer umgesetzt werden. Rob van der Veer, Senior Director bei der Software Improvement Group (SIG) ordnet ein: “Der AI Act überlässt einen Großteil der Standardisierung der Industrie, was meiner Meinung nach klug ist. Es ist eine Designentscheidung, das Gesetz auf diesem hohen Niveau anzusiedeln. So ist es auch zukunftsfähig.”

Der AI Act dürfte mit seinen klaren Regeln und Standards bezüglich des Einsatzes von KI-Anwendungen nicht nur die Art und Weise verändern, wie Tech-Riesen und KI-Startups in Europa arbeiten. Er wird auch Auswirkungen auf die Cybersicherheit haben – insbesondere für Unternehmen, die kritische Infrastrukturen betreiben oder in anderen Hochrisikobereichen tätig sind. Die Art und Weise, wie die EU-Politiker dabei die Überschneidung von KI und Security “denken”, könnte künftig anderen Länder als Blaupause dienen.

Was der AI Act verbietet – und reguliert

Der AI Act klassifiziert KI-Systeme in vier verschiedene Kategorien:

1. inakzeptable Risiken

2. hohe Risiken

3. begrenzte Risiken

4. minimale Risiken

Die Kategorie inakzeptable Risiken beinhaltet KI-Systeme, deren Einsatz künftig innerhalb der Europäischen Union vollständig untersagt sein soll. Dazu gehören zum Beispiel:

• Social-Scoring-Systeme, die Menschen auf Grundlage ihres Verhaltens oder ihres sozioökonomischen Status bewerten.

• Methoden, um Menschen oder vulnerable Gruppen heimlich zu beeinflussen respektive zu bestimmten Verhaltensweisen manipulieren.

• Biometrische Kategorisierungssysteme – etwa Gesichtserkennung.

• Technologien, die Emotionen erkennen können (gilt am Arbeitsplatz und in Bildungseinrichtungen).

Systeme mit hohem Risiko müssen künftig laut dem Entwurf zum AI Act vor ihrer Markteinführung – und über ihren gesamten Lebenszyklus – evaluiert werden. Dieser Bereich wurde noch einmal in zwei Gruppen unterteilt. Die erste betrifft Systeme, die unter die Produktsicherheitsvorschriften der EU fallen (beispielsweise Autos, Flugzeuge, medizinische Geräte oder Spielzeug). Die zweite umfasst Systeme, die in einer EU-Datenbank registriert werden müssen und beispielsweise zu folgenden Zwecken eingesetzt werden:

• Management und Betrieb kritischer Infrastrukturen,

• Bildung beziehungsweise Berufsausbildung,

• Wahlmanagement,

• Arbeitnehmermanagement,

• private und öffentliche (Dienst-) Leistungen,

• Rechtsdurchsetzung,

• Migrations-, Asyl- und Grenzkontrollmanagement.

In Bezug auf diese Systeme betont der Entwurf zum AI Act die Notwendigkeit robuster Cybersicherheitsmaßnahmen und plädiert dafür, ausgefeilte Sicherheitsfunktionen zum Schutz vor potenziellen Angriffen einzubeziehen. Ganz konkret fordert der AI Act von Unternehmen, die in den Hochrisiko-Bereich fallen, dem Security-by-Design-Grundsatz zu folgen. Der EU-Gesetzentwurf gibt (in Artikel 51) auch Auskunft über ganz konkrete Gefahren in diesem Bereich: “Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen wie Trainingsdatensätze (zum Beispiel Datenvergiftung) oder trainierte Modelle (zum Beispiel feindliche Angriffe) nutzen oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der zugrundeliegenden IKT-Infrastruktur ausnutzen. Um ein den Risiken angemessenes Cybersicherheitsniveau zu gewährleisten, sollten die Anbieter von Hochrisiko-KI-Systemen daher geeignete Maßnahmen ergreifen, wobei gegebenenfalls auch die zugrundeliegende IKT-Infrastruktur zu berücksichtigen ist.”

Kris Shrishak, Technologieexperte und Enforce Senior Fellow beim Irish Council for Civil Liberties (ICCL), kommentiert: “Der AI Act schafft für Organisationen, die Cybersicherheit ernst nehmen, keine neuen Verpflichtungen.” Diejenigen, die das nicht tun und gegen die Bestimmungen des AI Act verstoßen, müssen mit Geldstrafen von bis zu 35 Millionen Euro – oder sieben Prozent ihres weltweiten Jahresumsatzes – rechnen. EU-Bürger können zudem Beschwerden über KI-Systeme einreichen und müssen danach auch entsprechend über den weiteren Verlauf informiert werden.

AI Act Compliance sicherstellen

Unternehmen müssen sich also in erste Linie darüber bewusst werden, welche KI-Tools und -Systeme sie einsetzen, in welche Risikokategorie des AI Act diese fallen und vor allem, wie diese genau funktionieren. In der Unternehmensrealität bedeutet das vielerorts eine Herausforderung, wie Joseph Thacker, Security-Forscher bei AppOmni, unterstreicht: “Oft weiß die Geschäftsleitung oder die Rechtsabteilung schlicht nicht, was die Developer entwickeln. Aus meiner Sicht dürfte es besonders für kleine und mittlere Unternehmen diffizil werden, den AI Act in der Praxis umzusetzen.” Startups, die Produkte für die Hochrisikokategorie entwickeln, rät Thacker deshalb, so bald wie möglich Compliance-Experten an Bord zu holen, um (teure) Missverständnisse und Verfehlungen zu vermeiden.

Auch Shrishack betrachtet den Gesetzentwurf zum AI Act kritisch – zumindest wenn es um die aktuelle Formulierung geht: “Unternehmen, die neu auf dem Gebiet der KI sind und wenig Erfahrung mit Security haben, könnten denken, Data Poisoning und die anderen im Text genannten Angriffsgefahren wären alles, worum sie sich kümmern müssen. An dieser Stelle hätte der Gesetzestext deutlicher machen sollen, dass es sich lediglich um grundlegende Anforderungen handelt.” Das KI-Gesetz der EU könne ein Schritt in die richtige Richtung sein, so Shrishack weiter. Allerdings sei es eine Sache, Regeln aufzustellen – eine andere, sie auch durchzusetzen.

Die in Hannover ansässige Rechtswissenschaftliche Gesellschaft für Künstliche Intelligenz und Robotik e.V. (auch bekannt als Robotics & AI Law Society, kurz RAILS) hat bereits im Jahr 2021 eine kritische Bewertung des AI Act veröffentlicht. Das Forschungspapier legt nahe, dass die für den AI Act vorgesehenen Durchsetzungsmaßnahmen nicht ausreichend sind. “Die Erfahrungen mit der Datenschutzgrundverordnung zeigen, dass ein übermäßiges Vertrauen darauf, dass die nationalen Behörden geltendes Recht durchsetzen, führt zu sehr unterschiedlichen Schutzniveaus innerhalb der EU. Das ist auf die unterschiedlichen Ressourcen der Behörden zurückzuführen, aber auch auf unterschiedliche Ansichten darüber, wann und wie oft Maßnahmen ergriffen werden sollten”, schreiben die Studienautoren. Darüber hinaus seien die Behörden der Mitgliedstaaten nicht in der Lage, beurteilen zu können, ob Anbieter von risikoreichen KI-Systemen gegen den AI Act verstießen.

Auch Thacker ist davon überzeugt, dass die Durchsetzung des AI Act in der Praxis schwierig wird. “Es könnte zu Missverständnissen zwischen den verschiedenen Regierungsbehörden kommen. Außerdem gibt es möglicherweise nicht genug Fachkräfte, die sich sowohl mit KI als auch mit Compliance auskennen.” Insbesondere eine fachübergreifende Ausbildung könnte nach Meinung des Sicherheitsexperten letztgenannte Lücke schließen – nicht nur in Europa, sondern in allen Ländern, die beabsichtigten, KI zu regulieren.

Dabei geht es nicht nur darum, eine Technologie zu gestalten, sondern auch darum sicherzustellen, dass diese mit grundlegenden gesellschaftlichen Werten in Einklang steht, wie Shrishack abschließend betont: “KI nicht zu regulieren, ist keine Option. Das würde sowohl den Bürgern als auch der Technologiebranche schaden.” (fm)

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser Newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.

Jetzt CSO-Newsletter sichern

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.