Neue Forschungsergebnisse: Angst vor GenAI-Phishing durchaus berechtigt

Foto: Who is Danny – shutterstock.com

Generative AI (GenAI) spielt eine wichtige Rolle bei der Neugestaltung der Phishing-E-Mails, wie zwei neue Forschungsergebnisse zeigen. Laut einer Umfrage von Abnormal Security unter 300 Sicherheitsverantwortlichen zeigen sich fast alle Teilnehmer (98 Prozent) über die Cyberrisiken besorgt, die von ChatGPT, Google Bard, WormGPT und ähnlichen generativen KI-Tools ausgehen. Ihre größte Sorge ist demnach die zunehmende Raffinesse von E-Mail-Angriffen, die durch generative KI möglich wird – insbesondere die Tatsache, dass sie Angreifern helfen kann, hochspezifische und personalisierte E-Mail-Angriffe auf der Grundlage öffentlich verfügbarer Informationen zu entwickeln, so der Bericht.

KI-generierte Phishing-E-Mails sind “ziemlich überzeugend”

Zugleich offenbart eine Analyse von IBM X-Force, dass die Sorge im Hinblick auf GenAI-Phishing berechtigt ist. Mit nur fünf einfachen Eingabeaufforderungen konnte das IBM X-Force-Forschungsteam ein generatives KI-Modell dazu bringen, in nur fünf Minuten “äußerst überzeugende” Phishing-E-Mails zu entwickeln. Diese würden sich kaum von solchen unterscheiden, die von professionellen menschlichen Angreifern generiert wurden. Die Forscher gehen davon aus, dass Kriminelle sich damit fast zwei Tage Arbeit sparen.

Trotz der weit verbreiteten Besorgnis ist jedoch die überwiegende Mehrheit der Security-Manager nicht ausreichend auf den Schutz vor KI-generierten E-Mail-Angriffen vorbereitet, so das Ergebnis der Abnormal-Security-Studie. Die meisten Befragten verlassen sich immer noch auf ihre Cloud-E-Mail-Anbieter oder auf ältere Tools für die E-Mail-Sicherheit, wobei über die Hälfte (53 Prozent) immer noch sichere E-Mail-Gateways zum Schutz ihrer E-Mail-Umgebungen verwenden. Dieser Ansatz scheint nicht zu funktionieren, da fast die Hälfte der Befragten (46 Prozent) kein Vertrauen in herkömmliche Lösungen zur Erkennung und Abwehr von KI-generierten Angriffen hat.

Lesetipp: So erkennen Sie KI-basiertes Phishing

GenAI-Phishing vs. menschlich generiertes Phishing

Allerdings könnten die Ergebnisse der IBM X-Force-Studie viele Sicherheitsverantwortliche dazu veranlassen, ihre E-Mail-Sicherheitsstrategien zu ändern. Das Forscherteam wollte herausfinden, ob aktuelle generative KI-Modelle über die gleichen Täuschungsfähigkeiten verfügen wie der menschliche Verstand, indem es in einer Simulation mit Unternehmen die Klickraten von KI-generierten und menschlich generierten E-Mails verglich.

Durch einen systematischen Prozess des Experimentierens und Verfeinerns wurde eine Sammlung von nur fünf Aufforderungen erstellt, um ChatGPT anzuweisen, Phishing-E-Mails zu generieren, die auf bestimmte Branchen zugeschnitten sind, schrieb Stephanie Carruthers, IBMs Chief People Hacker. “Zu Beginn baten wir ChatGPT, die wichtigsten Bereiche zu nennen, die für die Mitarbeiter in diesen Branchen von Bedeutung sind. Nachdem wir die Branche und die Anliegen der Mitarbeiter in den Vordergrund gestellt hatten, forderten wir ChatGPT auf, eine strategische Auswahl für den Einsatz von Social-Engineering- und Marketing-Techniken in der E-Mail zu treffen.”

Diese Auswahl zielte darauf ab, die Wahrscheinlichkeit zu optimieren, dass eine größere Anzahl von Mitarbeitern auf einen Link in der E-Mail selbst klickt, so Carruthers. Als Nächstes wurde ChatGPT gefragt, wer der Absender sein sollte (etwa jemand aus dem Unternehmen, ein Lieferant oder eine externe Organisation). Schließlich bat das Team ChatGPT, die folgenden Ergänzungen hinzuzufügen, um die Phishing-E-Mail zu erstellen:

• Die wichtigsten Bereiche, die den Angestellten in der Gesundheitsbranche am Herzen liegen: Beruflicher Aufstieg, Arbeitsplatzstabilität, erfüllende Arbeit.

• Social-Engineering-Techniken, die verwendet werden sollten: Vertrauen, Autorität, sozialer Beweis.

• Marketing-Techniken, die eingesetzt werden sollten: Personalisierung, mobile Optimierung, Aufforderung zum Handeln.

• Die Person oder das Unternehmen, für die es sich ausgeben sollte: Interner Leiter der Personalabteilung.

E-Mail-Erstellung: Unter Berücksichtigung aller oben aufgeführten Informationen generierte ChatGPT die unten stehende, geschwärzte E-Mail, die später an mehr als 800 Mitarbeiter gesendet wurde.

Foto: IBM X-Force

“Ich habe fast ein Jahrzehnt Erfahrung im Bereich Social Engineering und habe Hunderte von Phishing-E-Mails erstellt, und sogar ich fand die von der KI generierten Phishing-E-Mails ziemlich überzeugend”, schrieb Carruthers.

Von Menschen erzeugtes Phishing etwas erfolgreicher

Im zweiten Teil des Experiments von IBM X-Force erstellten erfahrene Social Engineers Phishing-E-Mails, die ihre Zielpersonen auf einer persönlichen Ebene ansprachen. Dazu sammelten sie zunächst Open-Source-Intelligenz (OSINT), um dann ihre eigene Phishing-E-Mail zu erstellen, die mit der von generativer KI erstellten E-Mail mithalten konnte.

Die folgende geschwärzte Phishing-E-Mail wurde an über 800 Mitarbeiter eines weltweit tätigen Gesundheitsunternehmens versandt:

Foto: IBM X-Force

Nach einer intensiven Runde von A/B-Tests waren die Ergebnisse eindeutig: Der Mensch war der Sieger, wenn auch nur mit knappem Vorsprung. Die generative KI-Phishing-Klickrate lag laut IBM X-Force bei 11 Prozent, während die menschliche Phishing-Klickrate bei 14 Prozent lag. Die von der KI generierte E-Mail wurde auch etwas häufiger als verdächtig eingestuft als die von Menschen erstellte Nachricht (59 Prozent gegenüber 52 Prozent).

“Der Mensch mag dieses Spiel knapp gewonnen haben, aber die KI verbessert sich ständig”, schreibt Carruthers. “Mit dem technologischen Fortschritt können wir nur erwarten, dass die KI immer ausgefeilter wird und eines Tages möglicherweise sogar den Menschen übertrifft.” (jm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.