Wie man den Missbrauch von KI verhindern kann

Künstliche Intelligenz (KI) ist leistungsfähig, und viele Systeme sind bereits in zentrale Geschäftsprozesse integriert. Daher kann der Missbrauch von KI Anwendungen und Infrastrukturen gefährden, Unternehmen Compliance- und Reputationsrisiken aussetzen und im Extremfall sogar Menschenleben gefährden. Um Missbrauch zu verhindern, benötigen KI-Modelle Leitplanken, Zugriffskontrollen, Prompt-Validierung und weitere Sicherheitsmaßnahmen. Auch Architekturentscheidungen – etwa die Einbindung eines Human-in-the-Loop (HITL) in KI-basierte Anwendungsinfrastrukturen – können Risiken reduzieren.

Was ist KI-Missbrauch?

KI-Missbrauch liegt vor, wenn KI-Modelle für andere Zwecke eingesetzt werden als die von ihren Entwicklern vorgesehenen – insbesondere für böswillige oder betrügerische Aktivitäten. Da KI-Modelle immer leistungsfähiger werden, gewinnt die Verhinderung von KI-Missbrauch zunehmend an Bedeutung. Viele KI-Experten warnen zudem vor möglichen Einsätzen durch Schurkenstaaten und Terrorgruppen (Akteure, die KI vermutlich bereits zur Unterstützung ihrer Ziele nutzen).

Die OWASP Top 10-Risiken für Large Language Models (LLMs) zeigen einige Möglichkeiten auf, wie KI-Modelle missbraucht werden können – etwa durch Prompt Injection, um ihr Verhalten zu manipulieren, durch die Offenlegung sensibler Daten oder durch das Einschleusen von Schwachstellen in der Lieferkette, indem ein LLM kompromittiert wird, auf das nachgelagerte Anwendungen angewiesen sind.

Über diese Risiken hinaus könnten Einzelpersonen versuchen, KI-Modelle zu nutzen, um gefährliche oder illegale Inhalte abzurufen oder zu erzeugen – von Anleitungen zum Bau von Waffen bis hin zu schädlichen expliziten Inhalten.

Für alltägliche Nutzer und Unternehmen, die auf KI angewiesen sind, ist es entscheidend, KI-Missbrauch zu verhindern, um ihre Daten, ihre Marke und ihre Kunden zu schützen und gleichzeitig die Einhaltung von Datenschutzvorschriften sicherzustellen.

Wie kann generative KI bei Social-Engineering-Angriffen und anderen Angriffen missbraucht werden?

Angreifer können viele Arten von Cyberangriffen durch KI-Modelle unterstützen. Generative KI-Modelle und KI-Agenten können Software-Schwachstellen finden, darunter in einigen Fällen Zero-Day-Exploits. Sie können Schadsoftware schreiben. Sie können Social-Engineering-Kampagnen unterstützen, indem sie Phishing-Nachrichten erstellen, und sie sind möglicherweise in der Lage, Phishing-Ziele zu identifizieren. Agentenbasierte KI-Anwendungen könnten autonom langfristige Phishing-Kampagnen, Ransomware-Kampagnen und andere Cyberangriffe durchführen und so Advanced Persistent Threats (APTs) und organisierten kriminellen Gruppen stärken.

Selbst generative KI-Modelle mit integrierten Sicherheitsleitplanken können auf diese Weise missbraucht werden. Techniken wie Prompt Injection und Jailbreaking ermöglichen es böswilligen Akteuren, die Modelle für ihre eigenen Zwecke auszunutzen.

Strategien, um den Missbrauch von KI zu verhindern

Um zu verhindern, dass Einzelpersonen oder Gruppen KI-Anwendungen für andere als die vorgesehenen Zwecke nutzen, sollten Entwickler von KI-Anwendungen und -Modellen während des gesamten Entwicklungs- und Bereitstellungsprozesses eine Reihe von Sicherheitsmaßnahmen integrieren.

Validierung von Trainingsdaten

Bevor ein Modell in die Produktion geht, wird es trainiert. Die Verhinderung von KI-Missbrauch beginnt daher mit der Validierung der Trainingsdaten, um sicherzustellen, dass sie keine verzerrten Daten, keine privaten Informationen und keine versteckten Hintertüren enthalten, die unerwartetes oder unbefugtes Verhalten ermöglichen.

Da zum Verfeinern eines Modells große Mengen an Trainingsdaten benötigt werden, stammen diese oft aus verschiedenen Quellen. Dadurch können Trainingsdaten anfällig für Supply-Chain-Angriffe werden. Böswillige Akteure können außerdem Datenmanipulationsangriffe einsetzen, um Trainingsdaten gezielt zu manipulieren und bewusst Verzerrungen oder Hintertüren einzubauen. Angreifer können auch direkt von außerhalb des Unternehmens in Datenbanken eindringen oder als Insider Trainingsdaten manipulieren.

Über die Datenvalidierung hinaus helfen diese Sicherheitsmaßnahmen, Datenmanipulationsangriffe zu verhindern:

• Prinzip der geringsten Rechte: Die Anwendung dieses Zero-Trust-Prinzips auf Speicher von Trainingsdaten trägt dazu bei, dass nur diejenigen Personen und Systeme Zugang haben, die diesen unbedingt benötigen. Dies senkt das Risiko, dass externe Angreifer in Trainingsdaten eindringen.
• Verschiedene Datenquellen: Wenn Trainingsdaten aus mehreren Quellen stammen, lassen sich mögliche Verzerrungen korrigieren, die bei Daten aus einer einzigen Quelle auftreten können.
• Überwachung und Prüfung: Das Nachverfolgen von Änderungen an gespeicherten Trainingsdaten ermöglicht es Unternehmen, verdächtige Aktivitäten zu erkennen und festzustellen, ob ein Trainingsdatensatz kompromittiert wurde.
• Adversarial Training: Hierbei wird ein KI-Modell so trainiert, dass es absichtlich irreführende Eingaben erkennt.

Viele Unternehmen trainieren LLMs nicht selbst. Für Unternehmen, die nachgelagert mit LLM-Anbietern arbeiten, ist es wichtig zu verstehen, welche Sicherheitsmaßnahmen diese zum Schutz ihrer Modelle vor Data Poisoning (Datenvergiftung) ergriffen haben.

Kunden von LLM-Anbietern nutzen in der Regel Retrieval Augmented Generation (RAG), um die Performance von LLMs für ihre Anwendungsfälle zu optimieren. Ebenso ist es entscheidend, die internen Datensätze, die für RAG verwendet werden, zu validieren und zu sichern.

KI-Leitplanken

KI-Leitplanken sind Richtlinien und Kontrollen, die sicherstellen, dass KI-Modelle innerhalb vordefinierter Grenzen bleiben. So können Leitplanken einem Modell beispielsweise erlauben, eine E-Mail zu schreiben, es jedoch daran hindern, eine Phishing-E-Mail zu verfassen. Oder sie erlauben dem Modell, eine Funktion zu programmieren, verhindern jedoch, dass es einen Exploit für eine Sicherheitslücke schreibt.

Leitplanken sollten KI-Modelle in allen Aspekten schützen, von den Trainingsdaten (wie oben beschrieben) bis hin zur Anwendungsinfrastruktur.

• Leitplanken für die Infrastruktur: Dazu gehört der Schutz von KI-Workloads in der Cloud mit wirksamen Cloud-nativen Sicherheitsmaßnahmen wie API-Schutz, Netzwerksicherheit, Verschlüsselung und Identitäts- und Zugriffsverwaltung (IAM).
• Leitplanken bei Anwendungen: KI-Modelle werden in der Regel über eine API in nutzerorientierte Anwendungen integriert. APIs können Richtlinien anwenden, um schädliche oder gefährliche Inhalte zu blockieren, die die Leitplanken des Modells umgehen.
• Modell-Leitplanken: Dabei wird ein Modell auf Genauigkeit feinabgestimmt und für seinen vorgesehenen Zweck optimiert. Modelle sollten darauf trainiert werden, welche Arten von Antworten unerwünscht sind, damit sie diese während der Inferenz vermeiden.

Die meisten Unternehmen, die KI in ihre öffentlich zugänglichen Anwendungen integrieren, nutzen bereits bestehende KI-Modelle. Leitplanken auf Anwendungs- und Infrastrukturebene sind in diesen Fällen die Bereiche, über die sie die direkteste Kontrolle haben. Gleichzeitig sollten sie verstehen, welche Leitplanken die Modellanbieter bereits in ihre Modelle integriert haben.

Prompt-Validierung

KI-Modelle sind besonders anfällig für Prompt-Injection-Angriffe: täuschende Eingaben, die ein Modell dazu bringen, seine Leitplanken zu verlassen. Neben gezielten Angriffen können auch einige Nutzer-Prompts gegen die Nutzungsbedingungen des Modells verstoßen, etwa wenn sie illegale, gefährliche oder explizite Inhalte anfordern.

Prompt-Validierung stellt sicher, dass Prompts keine schädlichen oder irreführenden Anfragen enthalten. Ähnlich wie die API-Schema-Validierung unzulässige Anfragen blockiert, die nicht dem API-Schema entsprechen, erkennt und blockiert die Prompt-Validierung unsichere Inhalte, bevor sie das KI-Modell erreichen.

Human-in-the-Loop (HITL)

Human-in-the-Loop (HITL) ist ein möglicher Architekturansatz, um die Risiken unbeaufsichtigter Entscheidungen von KI-Modellen zu reduzieren. HITL hält menschliche Verantwortliche im KI-Workflow eingebunden, sodass sie Entscheidungen von KI-Modellen überprüfen und freigeben können. Modelle können mit direktem menschlichem Feedback trainiert werden oder so konfiguriert sein, dass sie menschliche Unterstützung anfordern, wenn sie nur Vorhersagen mit geringer Sicherheit über die passende Antwort auf einen Prompt treffen können.

Schutz vor Datenverlust (DLP)

Schutz vor Datenverlust (Data Loss Prevention, DLP) bezieht sich auf eine Kategorie von Technologien, die verhindern können, dass vertrauliche Daten geschützte Umgebungen verlassen. DLP kann einzelne API-Anfragen und KI-Prompts untersuchen und mit einer Vielzahl von Techniken, darunter Data Fingerprinting, Keyword Matching und Pattern Matching, sensible und vertrauliche Daten identifizieren und Anfragen gegebenenfalls blockieren.

DLP kann auch das Kopieren und Einfügen von bestimmten Webseiten oder Apps einschränken, um zu verhindern, dass Insider interne Informationen in externe LLMs einspeisen.

Aufspüren von Schatten-KI

KI-Missbrauch lässt sich nur verhindern, wenn Unternehmen einen vollständigen Überblick darüber haben, wo ein solcher Missbrauch möglich ist und welche Auswirkungen er haben könnte. KI-Modelle werden häufig an unerwarteten oder nicht autorisierten Stellen in Anwendungsinfrastrukturen eingebettet – ähnlich wie beim Problem der Schatten-APIs, mit dem viele App-Entwickler konfrontiert sind. Die Erkennung von Schatten-KI hilft Unternehmen dabei, potenzielle Risiken für KI-Missbrauch zu identifizieren, sodass geeignete Leitplanken und Sicherheitsmaßnahmen umgesetzt werden können.

So verhindern Sie KI-Missbrauch mit Cloudflare

Die Cloudflare AI Security Suite ermöglicht es Organisationen, Schatten-KI zu entdecken, Modelle vor Missbrauch zu schützen, den Zugriff von KI-Agenten zu sichern und die Offenlegung von Daten zu blockieren. Dies ermöglicht es Unternehmen, die KI-Einführung sicher zu beschleunigen. Erfahren Sie mehr über die KI-Sicherheitssuite.

 

FAQs

Was gilt als Missbrauch von künstlicher Intelligenz?

KI-Missbrauch liegt vor, wenn Einzelpersonen oder Gruppen KI-Modelle für andere Zwecke einsetzen als die ursprünglich vorgesehenen – insbesondere für täuschende, illegale oder schädliche Ziele. Dazu gehört auch die Nutzung dieser Tools zur Erstellung gefährlicher oder eingeschränkter Inhalte oder zur Unterstützung betrügerischer Aktivitäten.

Wie können Angreifer generative KI-Modelle nutzen, um die Cybersicherheit zu gefährden?

Angreifer können generative KI einsetzen, um Malware zu entwickeln, Schwachstellen in Software zu identifizieren und Zero-Day-Exploits aufzuspüren. Zudem nutzen sie diese Technologien, um Social Engineering zu automatisieren, etwa durch das Erstellen glaubwürdiger Phishing-Nachrichten und das Identifizieren geeigneter Ziele für langfristige Spear-Phishing-Kampagnen. Zusätzlich können Prompt-Injection-Angriffe auf generative KI-Modelle dazu führen, dass vertrauliche Informationen preisgegeben werden.

Wie können Entwickler ein Modell sichern, bevor es in die Produktionsphase geht?

Sicherheit beginnt bereits in der Trainingsphase, indem die Daten validiert werden, um sicherzustellen, dass sie keine Verzerrungen, privaten Informationen oder versteckten Hintertüren enthalten. Entwickler von KI-Modellen sollten außerdem unterschiedliche Datenquellen nutzen, das Prinzip der geringsten Rechte beim Datenzugriff anwenden und Adversarial Training einsetzen, damit das Modell irreführende Eingaben erkennen kann.

Was sind KI-Leitplanken?

Leitplanken sind wichtige Richtlinien und Kontrollen, die das Verhalten der KI innerhalb sicherer, vordefinierter Grenzen halten.

Wie verhindert eine Prompt-Validierung Sicherheitsverletzungen?

Prompt-Validierung wirkt wie ein Filter, der täuschende oder schädliche Anfragen erkennt und blockiert, bevor sie das KI-Modell erreichen. Dadurch lassen sich Prompt-Injection-Angriffe verhindern, bei denen Nutzer versuchen, das System dazu zu bringen, seine Sicherheitsmechanismen zu umgehen.