Was ist Schatten-KI?

„Schatten-KI“ bezieht sich auf die unbefugte und nicht nachverfolgte Nutzung von künstlicher Intelligenz (KI) durch Mitglieder einer Organisation. Schatten-KI kann ein Sicherheitsproblem sein, da sie die Angriffsfläche des Unternehmens unbemerkt von Sicherheitsteams vergrößert und weil sie die Wahrscheinlichkeit eines Datenlecks erhöht, je nachdem, auf welche Informationen diese KI-Modelle zugreifen können.

Schatten-KI kann zudem die übergeordneten strategischen Ziele einer Organisation beeinträchtigen. Die Verwendung von KI-Tools, die nicht mit internen Daten via Retrieval-Augmented Generation (RAG) optimiert sind, kann dem Unternehmen suboptimale Antworten liefern. So kann beispielsweise ein Bericht, der von einem KI-Tool erstellt wurde und dem wichtige Informationen zur Marktposition eines Unternehmens fehlen, unrealistische oder nicht hilfreiche Empfehlungen enthalten.

Schatten-KI ist äußerst verbreitet. Mitarbeitende, die ihre Produktivität steigern möchten, greifen häufig auf KI-Tools zurück, ohne auf deren Genehmigung zu achten oder sich bewusst zu sein, dass sie ihre Organisation damit Risiken aussetzen. Einige Studien haben selbst in stark abgesicherten Unternehmen Dutzende unautorisierter KI-Anwendungen im aktiven Einsatz festgestellt. Glücklicherweise können Organisationen Maßnahmen ergreifen, um Risiken zu verringern und zugleich die Nutzung dieser außergewöhnlich leistungsfähigen Werkzeuge zu ermöglichen.

Zwei Arten von Schatten-KI

Es gibt zwei Hauptkategorien der Nutzung von Schatten-KI:

1. Nicht genehmigte Nutzung von KI-Apps
2. Ungeschützte KI-Endpunkte werden in öffentliche Anwendungen integriert

Ersteres betrifft Mitarbeitende und Auftragnehmer, die KI-Nutzung in ihre regulären Arbeitsabläufe integrieren. So könnte etwa ein Mitglied der Marketingabteilung eine Datenbank mit Interessenteninformationen in ein LLM wie ChatGPT hochladen und um einen Bericht bitten, ohne sich bewusst zu sein, dass dies möglicherweise eine Sicherheitsverletzung darstellt.

Letzteres betrifft Entwickler, die KI-Modelle ohne Genehmigung oder angemessene Aufsicht in öffentlich zugängliche Anwendungen integrieren – ähnlich wie beim Einbau von Schatten-API-Endpunkten in Anwendungen. Man stelle sich vor, ein Entwickler nutzt ChatGPT, um einen offiziellen Chatbot des Unternehmens zu betreiben, ohne dafür eine Freigabe zu haben. Obwohl OpenAI selbst Sicherheits- und Inhaltsleitplanken in seine Modelle integriert, kann sich der Chatbot dennoch auf eine Weise verhalten, die die Organisation nicht erwartet, etwa indem er Produkte eines Wettbewerbers empfiehlt.

Schatten-KI vs. Schatten-IT

Schatten-IT bezieht sich auf die nicht genehmigte oder nicht verwaltete Nutzung von Technologien, insbesondere von SaaS-Anwendungen. Schatten-IT beinhaltet sowohl die Verwendung von nicht-genehmigten Tools als auch den Zugriff auf genehmigte Tools auf nicht-genehmigte Weise (ein Beispiel für Letzteres wäre die Anmeldung bei einem offiziellen Arbeitstool über ein persönliches Konto).

Viele Software-Tools sind kostengünstig oder kostenlos, leicht über das Internet zugänglich und fördern die Produktivität. Mitarbeitende umgehen daher möglicherweise offizielle Wege, wenn ein Tool ihnen schnelleres Arbeiten ermöglicht oder langwierige rechtliche Genehmigungsverfahren sie daran hindern, die aus ihrer Sicht benötigten Werkzeuge einzusetzen.

Schatten-KI ist eine Form der Schatten-IT, aber eine schnell wachsende, die für Mitarbeitende und Auftragnehmer noch attraktiver ist, da sie schnelle Produktivitätssteigerungen verspricht.

Welche Risiken birgt die nicht genehmigte KI-Nutzung?

Die Verwendung von Schatten-KI-Tools durch Mitarbeitende und Auftragnehmer birgt zwei Hauptrisiken:

• Eine vergrößerte Angriffsfläche
• Offenlegung sensibler Daten

Die Gesamtheit aller potenziellen Einstiegspunkte, die einem Angreifer zur Verfügung stehen, wird als Angriffsfläche bezeichnet. Diese kann nicht wirksam verteidigt werden, wenn Sicherheitsteams ihr vollständiges Ausmaß nicht kennen. KI-Tools weisen – wie jede andere Anwendung – eigene Sicherheitsrisiken und Schwachstellen auf. Ihre Nutzung zur Verarbeitung interner Daten oder ihre Integration in Software-Stacks und Geschäftsprozesse setzt die Organisation diesen Schwachstellen aus.

Dies ist weniger problematisch, wenn Sicherheitsteams wissen, welche Risiken bestehen und wo sie sich befinden — wird ein KI-Tool jedoch ohne ihr Wissen eingeführt, können sie es nicht absichern. Man stelle sich einen Banktresor mit einer Hintertür vor, die ein Mitarbeitender von seinem Büro direkt zum Tresor eingebaut hat, um Arbeitsprozesse zu beschleunigen. Die Sicherheitskräfte wissen nichts von dieser zweiten Tür. Da ihnen die Tür unbekannt ist, können sie sie weder bewachen noch mit Schlössern sichern. Die unbefugte Nutzung jeglicher Technologien, einschließlich KI-Tools, gleicht dem Hinzufügen weiterer ungeschützter Türen zum Datentresor des Unternehmens und vergrößert die Angriffsfläche.

Offenlegung sensibler Daten ist das andere große Risiko. Sensible Daten können geistiges Eigentum, Kundendaten oder personenbezogene Mitarbeiterdaten umfassen. Mitarbeitende laden solche Informationen möglicherweise zur Erledigung von Arbeitsaufgaben in KI-Tools hoch, und — insbesondere bei nicht verwalteten Anwendungen — könnten diese Daten anderen Nutzern der Tools zugänglich werden, die nicht zur Organisation gehören. Selbst wenn keine direkte Weitergabe erfolgt, können die Daten in der Datenbank des KI-Tools gespeichert bleiben, was sie im Falle eines Datenverstoßes offenlegen, externen Parteien zugänglich machen oder die Organisation in Konflikt mit Compliance-Vorgaben zu Datenschutz und Datensicherheit bringen kann.

Welche Risiken bringt die Integration von Schatten-KI in Apps mit sich?

KI-Modelle können über eine API in die Anwendungsinfrastruktur integriert werden. In einer solchen Konstellation sendet die Hauptanwendung während der Ausführung einen API-Aufruf an ein KI-Tool, das mit dem angeforderten Dienst oder den gewünschten Daten antwortet. Wird diese API-Integration weder überwacht noch abgesichert, gilt das KI-Modell als Schatten-KI-Endpunkt.

Die Risiken von Schatten-KI-Endpunkten umfassen:

• Offenlegung sensibler Daten: Anwendungen können geschützte oder vertrauliche Daten in ihre API-Aufrufe an KI-Modelle aufnehmen.
• Modellvergiftung: Die KI-Modelle könnten aufgrund früherer Datenvergiftungsangriffe unbekannte Sicherheitsrisiken enthalten.
• Prompt-Injection oder Jailbreaking: KI-Modelle könnten sich aufgrund böswilliger Aktivitäten anders verhalten als erwartet.
• Reputationsrisiko: Ein Schatten-KI-Modell verfügt möglicherweise nicht über ausreichende Leitplanken, um die Marke und den Ruf einer Organisation zu schützen. Beispielsweise könnte ein Chatbot, der mit Schatten-KI-Integrationen erstellt wurde, versehentlich 100 % Rabatt auf ein Produkt anbieten, das er nicht berechtigt ist, Käufern kostenlos weiterzugeben.
• Fehlende Dokumentation: Da Schatten-KI-Integrationen möglicherweise nicht ordnungsgemäß dokumentiert sind, können künftige Aktualisierungen der Anwendung sie unberücksichtigt lassen und dadurch die Funktion der Anwendung beeinträchtigen.

Viele Unternehmen möchten ihren Entwicklern während des Entwicklungsprozesses erlauben, mit KI-Modellen zu experimentieren. Die Entdeckung und Sicherung von Schatten-KI-Endpunkten ist jedoch unerlässlich, damit solche Experimente sicher durchgeführt werden können.

Was ist die „Schatten-KI-Ökonomie“?

Die „Schatten-KI-Ökonomie“ bezeichnet die Annahme, dass der Einsatz von KI im Unternehmensumfeld unterberichtet und unterschätzt wird, da viele Mitarbeitende sie ohne Genehmigung nutzen. Infolgedessen könnte der Return on Investment (ROI) aus der unternehmensweiten KI-Einführung höher ausfallen als die „offiziell“ ausgewiesene Zahl.

Wie man Schatten-KI erkennt

Sicherheitsteams können versuchen, die Nutzung von Schatten-KI-Tools mit ähnlichen Methoden wie bei anderen nicht autorisierten Anwendungen zu erkennen. Sie können den Netzwerkverkehr auf Anwendungsebene mit Anwendungsbewusstsein überwachen – eine Funktion, die von Next-Generation-Firewalls (NGFWs) und anderen Sicherheits-Proxy-Tools bereitgestellt wird. Zudem können sie DNS-Anfragen mithilfe von DNS-Filterung überwachen, um festzustellen, auf welche Anwendungen Mitarbeitende zugreifen. Auch Cloud Access Security Broker (CASB)- und Data Loss Prevention (DLP)-Funktionen tragen dazu bei, zu steuern, wohin sensible Daten gelangen dürfen. Weitere Informationen bietet die AI Security Suite.

Für ungeschützte KI-Endpunkte ist die Erkennung von Shadow AI die effizienteste Option. AI Security for Apps von Cloudflare erkennt alle Schatten-KI-Endpunkte, die ohne Wissen des Sicherheitsteams zu Anwendungen hinzugefügt wurden. Kunden erhalten vollständige Transparenz darüber, welche LLMs ausgeführt werden und wo. Erfahren Sie mehr über AI Security for Apps.

 

FAQs

Was bedeutet der Begriff „Schatten-KI“ in einem geschäftlichen Kontext?

Schatten-KI bezieht sich auf die Verwendung von KI-Tools durch Mitarbeitende oder Auftragnehmende ohne die offizielle Genehmigung oder Aufsicht der IT- und Sicherheitsteams ihres Unternehmens. Diese Praxis verbreitet sich immer mehr, da Mitarbeitende leicht zugängliche KI-Tools einsetzen, um ihre Produktivität schnell zu steigern oder die Funktionen von öffentlich zugänglichen Anwendungen zu erweitern.

Wie wirkt sich die unbefugte Nutzung von KI auf die Sicherheit eines Unternehmens aus?

Die Nutzung nicht genehmigter KI-Tools schafft ungeschützte Zugangspunkte zu den vertraulichen Daten eines Unternehmens und vergrößert damit die gesamte Angriffsfläche. Da Sicherheitsteams nichts von diesen Tools wissen, können sie keine geeigneten Maßnahmen zum Schutz der verarbeiteten Informationen ergreifen.

Wie kann Schatten-KI zur Preisgabe sensibler Informationen führen?

Wenn Mitarbeitende geistiges Eigentum oder Kundendaten in nicht verwaltete KI-Tools hochladen, können diese Informationen in einer externen Datenbank gespeichert oder unbeabsichtigt mit Nutzern außerhalb der Organisation geteilt werden. Eine solche Offenlegung kann zu Verstößen gegen regulatorische Compliance-Vorgaben führen oder die Daten gefährden, falls der KI-Anbieter Opfer eines Sicherheitsvorfalls wird.

Wie kann sich eine nicht verwaltete KI-Nutzung, abgesehen von Sicherheitslücken, auf die Geschäftsziele auswirken?

KI-Tools, die nicht mit den internen Daten eines Unternehmens optimiert wurden, können suboptimale oder unrealistische Ergebnisse liefern, da ihnen der spezifische Kontext zur Marktposition des Unternehmens fehlt.

Welche Risiken sind speziell mit der Integration von Schatten-KI in die Anwendungsinfrastruktur verbunden?

Die Integration von KI über unüberwachte APIs kann Risiken wie Modellvergiftung mit sich bringen, wenn das Modell bereits manipulierte Daten enthält, oder Prompt Injection, bei der bösartige Eingaben das Modell zu unerwartetem Verhalten veranlassen. Zudem besteht ein Reputationsrisiko; so könnte ein unkontrollierter Chatbot versehentlich nicht autorisierte Rabatte gewähren.