Data Poisoning: EmbedAI-Bug gefährdet LLMs

Foto: Krot_Studio – shutterstock.com

EmbedAI, eine Anwendung zur Interaktion mit Dokumenten auf Basis von großen Sprachmodellen (LLMs), weist nach Angaben von Synopsys eine gefährliche Sicherheitslücke auf. “Die Ausnutzung dieser Schwachstelle könnte die unmittelbare Funktion des Modells beeinträchtigen und langfristige Auswirkungen auf seine Glaubwürdigkeit und die Sicherheit der Systeme haben,” warnen die Cybersecurity-Forscher in einem Blogbeitrag.

Cross-Site-Request-Forgery

Laut Synopsys ist EmbedAI von einer Cross-Site-Request-Forgery (CSRF)-Schwachstelle betroffen. Dabei handelt es sich um eine Web-Sicherheitslücke, die es Bedrohungsakteuren ermöglicht, Nutzer dazu zu verleiten, unerwünschte Aktionen in einer Web-Anwendung auszuführen.

“Die Schwachstelle entsteht durch das Fehlen einer sicheren Session-Management-Implementierung und schwachen Richtlinien für die gemeinsame Nutzung von Ressourcen aus verschiedenen Quellen”, erklärt der Security-Spezialist.

Im Zusammenhang mit LLMs ermöglicht die Lücke böswillige Versuche, Opfer dazu zu bringen, gefälschte Daten in ihr Sprachmodell hochzuladen. Dies kann dazu führen, dass Anwendungen, die die EmbedAI-Komponente verwenden, potenzielle Datenverluste aufweisen.

Das sogenannte Data Poisoning kann jedoch auch weitere Gefahren mit sich bringen, wie die Verbreitung von Fehlinformationen, die Verschlechterung der Anwendungsleistung und die Möglichkeit von Denial-of-Service-Angriffen.

Lesetipp: Die 10 häufigsten LLM-Schwachstellen

Isolierung von Anwendungen kann helfen

Synopsys betont, dass die einzige verfügbare Abhilfemaßnahme für dieses Problem die Isolierung der potenziell betroffenen Anwendungen von integrierten Netzwerken ist. “Wir empfehlen, die Anwendungen sofort aus den Netzwerken zu entfernen”, heißt es im Blog.

Das Security-Unternehmen hat sich auch mit den Entwicklern von EmbedAI in Verbindung gesetzt, aber bisher noch keine Antwort erhalten.

Die Sicherheitslücke wurde von Mohammed Alshehri, einem Sicherheitsforscher bei Synopsys, entdeckt. “Unternehmen sollten sicherstellen, dass die gleichen Kontrollen, die sie für Webanwendungen haben, auch in den APIs für ihre KI-Anwendungen implementiert sind”, fordert er in einem Interview mit DarkReading. (jm)

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser Newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten.