Fraunhofer AISEC startet AIgenCY: Neues Forschungsprojekt zu GenAI

Foto: Ball SivaPhoto – shutterstock.com

Aufgrund der rasant fortschreitenden Entwicklungen im Bereich der generativen KI, will das Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC) die Auswirkungen auf die Cybersicherheit – insbesondere auf die kritische Infrastruktur erforschen. Dazu wurde das Forschungsprojekt AIgenCY ins Leben gerufen.

In Zusammenarbeit mit Spezialisten des CISPA (Helmholtz-Zentrums für Informationssicherheit), der Technischen Universität Berlin und der Freien Universität Berlin sowie in Kooperation mit dem KI-Unternehmen Aleph Alpha sollen potenzielle Bedrohungen durch KI-generierte Inhalte erkannt und robuste Abwehrstrategien entwickelt werden.

Dazu will das Forscherteam ein Experimentierlabor einrichten und generative KI-Technologien in praxisnahen Szenarien analysieren. Dabei stehen folgende Themen im Fokus:

• Malware-Bekämpfung: Analyse der Generierung fortschrittlicher Malware durch KI und Entwicklung entsprechender Gegenmaßnahmen.

• Verhinderung von Social Engineering, Desinformation und betrügerischen Kampagnen: Steigerung der Wachsamkeit und Verbesserung der Erkennung automatisierter Angriffe.

• Informationssammlung und -aufbereitung (Reconnaissance): Verständnis für präventive Angriffsstrategien und deren Abwehr.

• Erklärbarkeit und Inferenz: Interpretation der Entscheidungsfindung generativer KI-Modelle und Identifikation systemischer Schwachstellen.

• Watermarking und Anomalieerkennung: Rückverfolgung der Datenherkunft und Erkennung ungewöhnlicher Muster, die auf mögliche Angriffe hinweisen.

Das Projekt läuft bis Oktober 2026 und wird vom Bundesministerium für Bildung und Forschung (BMBF) mit einer Förderung von fünf Millionen Euro unterstützt.

Lesetipp: Der große KI-Risiko-Guide