Die wichtigsten unternehmerischen Cybersicherheitsrisiken bei der Implementierung von KI
Während seines Vortrags auf der diesjährigen SAP Now stellte Szymon Włochowicz eine Liste der wichtigsten Unternehmensrisiken im Zusammenhang mit der Nutzung von KI-Modellen vor. Diese Liste wurde von einem Team von Hicron-Experten zusammengestellt, die sich auf die Entwicklung von Künstlicher Intelligenz spezialisiert haben. Von den acht ermittelten Risikobereichen wurden drei von unserem Vertreter während der Präsentation eingehend erörtert.
Nicht-autorisierte KI-Tools (Shadow AI)
Eine der größten Herausforderungen stellt die sogenannte Shadow AI dar. Damit wird die Situation bezeichnet, bei der Mitarbeiter öffentlich zugängliche KI-Tools ohne Wissen und Zustimmung der IT- oder Sicherheitsabteilungen nutzen. Diese Vorgehensweise führt dazu, dass sensible Unternehmensdaten von Systemen Dritter unkontrolliert verarbeitet werden und die Kontrolle darüber verloren geht.
Im Falle von Shadow AI sind Unternehmen dem Risiko ausgesetzt, dass Mitarbeiter unwissentlich vertrauliche Informationen an KI-Modelle übermitteln, die diese dann zum Training nutzen oder sogar an andere Nutzer der Tools weitergeben können.
Mangelnde Auditierbarkeit
Datenleck durch Prompts
Jede Anfrage (Prompt), die ein Benutzer an das KI-System richtet, birgt das Risiko, dass sensible Unternehmensdaten offengelegt werden. Insbesondere detaillierte Prompts können Unternehmensgeheimnisse beinhalten, die, ähnlich wie bei Shadow AI, zum Trainieren von Modellen und zur Weitergabe vertraulicher Informationen an andere Nutzer der KI-Modelle verwendet werden können. Die in Prompts übermittelten Daten können von KI-Anbietern auch auf unbestimmte Zeit gespeichert werden, was das Risiko einer Verletzung der Vertraulichkeit und Sicherheit von Informationen noch erhöht.
Situation, in der die Nutzung des KI-Tools ein solches Risiko hervorrufen kann:
BESCHREIBUNG DER NUTZUNG DES TOOLS: Der Nutzer sendet einen Befehl an die KI, dessen Inhalt ein Betriebsgeheimnis enthält, beispielsweise: „Bereite eine Präsentation für das Vorstandstreffen vor, in der du den folgenden chemischen Prozess vorstellst …“
RISIKO: Die Daten, die der Nutzer in seinem Befehl an die KI-Lösung gesendet hat, können vom Tool zum Trainieren und Entwickeln eines LLM-Modells (Large Language Model) genutzt werden. Dadurch können diese Informationen potentiell dazu verwendet werden, Antworten für andere Unternehmen zu generieren und so Daten weiterzugeben, die Betriebsgeheimnisse sind.
RISIKOPRÄVENTION: Um dieses Risiko zu vermeiden, sollten Sie das Bewusstsein der Nutzer für die Gefahren bei der Nutzung von KI-Tools schärfen, KI-Governance-Richtlinien in Ihrem Unternehmen einführen und nur KI-Tools von bewährten Anbietern einsetzen.
Grenzüberschreitende Datenübertragungen
Wenn Unternehmen KI-Tools einsetzen, kommt es manchmal zu Datenlecks außerhalb der Gerichtsbarkeit der Organisation. Dies birgt das Risiko einer Nichteinhaltung der DSGVO-Vorschriften und des Verlusts der Kontrolle über die Kundendaten. KI-Modelle werden häufig in anderen Ländern als dem Standort der ursprünglichen Systeme des Unternehmens gehostet und unterliegen daher gesonderten gesetzlichen Bestimmungen. Dieser Aspekt erfordert besondere Aufmerksamkeit bei der Auswahl und Integration von KI-Tools.
Situation, in der die Nutzung des KI-Tools ein solches Risiko hervorrufen kann:
BESCHREIBUNG DER NUTZUNG DES TOOLS: Um Empfehlungen für Vertriebsmitarbeiter zum Kundenkontakt zu erstellen, nutzt das Unternehmen externe KI-Tools, die wiederum Zugriff auf Unternehmensdaten haben. Dabei werden diese Daten an LLM-Modelle in anderen Ländern weitergeleitet, die anderen Rechtssystemen unterliegen.
RISIKO: Die Übermittlung von Daten an LLM-Modelle in anderen Rechtsgebieten kann zu Verstößen gegen Datenschutzbestimmungen wie der DSGVO und zum Verlust der Kontrolle über Kundendaten führen. Ein weiteres Risiko besteht in der Möglichkeit einer fehlerhaften Konfiguration der Datenmodelle, was das Risiko von Datenlecks oder unbefugtem Zugriff erhöhen kann.
RISIKOPRÄVENTION: Um das Risiko zu minimieren, sollten die genutzten Tools in rechtlicher Hinsicht abgesichert werden und nur KI-Technologien von bewährten Anbietern zum Einsatz kommen.
Eskalation von Berechtigungen in KI-Systemen
Bei unzureichender Sicherung von Unternehmen kommt es auch zu Situationen, in denen KI-Systeme unbeabsichtigt personenbezogene Daten an Unbefugte weitergeben. Dies geschieht sowohl durch Mechanismen zur Aggregation und Zusammenfassung von Daten als auch durch gezielte Cyberangriffe unter Einsatz von prompt-bezogenen Missbrauchstechniken.
Situation, in der die Nutzung des KI-Tools ein solches Risiko hervorrufen kann:
BESCHREIBUNG DER NUTZUNG DES TOOLS: Ein Mitarbeiter der mittleren Führungsebene ersucht das interne KI-System, eine Präsentation mit Daten zu den Gehaltsspannen der Führungskräfte zu erstellen, oder er fragt nach historischen Gehaltsdaten, auf die er keinen Zugriff haben sollte.
RISIKO: Eine falsch konfigurierte KI, die in das HR-System integriert ist, kann vertrauliche Informationen an unbefugte Personen weitergeben, ohne die Berechtigungsstufen für den Zugriff zu berücksichtigen. Eine zusätzliche Gefahr besteht in Versuchen, die Sicherheitsvorkehrungen durch entsprechend formulierte Anfragen (Prompt Hacking) zu umgehen, beispielsweise indem man sich als berechtigte Person ausgibt. Eine weitere Komplikation kann in diesem Fall darin bestehen, dass Benutzer um die Bereitstellung von Datenaggregaten (Berichte, Analysen, Zusammenfassungen) ersuchen. Das Problem kann sich noch vervielfachen, wenn versucht wird, Angriffstechniken auf LLM-Modelle anzuwenden.
RISIKOPRÄVENTION: Es sollte eine präzise Klassifizierung von Dokumenten und Zugriffsebenen sowie Mechanismen zur Kontrolle der Berechtigungen auf KI-Ebene implementiert werden. Das System sollte auch gegen Techniken zur Erzwingung von Informationen durch Prompts resistent sein und die Nutzung von KI-Tools sollte nur durch renommierte Anbieter erfolgen.

Zehn grundlegende technische Risiken von KI-Systemen
Bei der Implementierung eines neuen Tools mit Künstlicher Intelligenz in die Strukturen einer Organisation sollten unbedingt die potentiellen Gefahren analysiert werden, die mit dessen Nutzung einhergehen können. Bei Hicron haben wir ein Team von Spezialisten zusammengestellt, das für die Arbeit an KI-Lösungen und ihre Integration in SAP zuständig ist. Die Mitglieder dieses Teams verfolgen jedoch einen breiteren Ansatz, der zur Ermittlung potentieller Risiken im Zusammenhang mit der Implementierung von KI-Tools gedacht ist. Während seines Vortrags stellte unser Experte eine vom vorgenannten Team erstellte Checkliste vor.
Sie zeigt die folgenden zehn wichtigen technischen Risiken auf, die bei der Entwicklung und Implementierung von KI-Lösungen in Unternehmen berücksichtigt werden müssen:
- Unbegrenzter Ressourcenverbrauch
- Eingabeanweisung-Injektion (Prompt Injection)
- Enthüllung vertraulicher Informationen
- Unsachgemäße Verwaltung von Ausgangsdaten
- Schwächen bei Vektoren und Einbettungen
- Fehlerhafte Informationen
- Lecks von System-Prompts
- Übermäßige Wirksamkeit
- Verfälschung des Datenmodells
- Kontrolle der Lieferkette
AI Governance Framework als Fundament der Sicherheit
Angesichts der vielen ernsthaften Risiken, die sich aus dem unbedachten Einsatz von KI-Tools ergeben, erwägen Unternehmen in zunehmendem Maße Möglichkeiten, sich dagegen zu schützen. Daher entscheiden sich immer mehr von ihnen für die Einführung eines AI-Governance-Frameworks. Dieses bildet die Grundlage für ein effektives Sicherheitsmanagement von Systemen der Künstlichen Intelligenz. Es besteht aus formellen Dokumenten, in denen die Art und Weise der Implementierung von KI-Tools klar festgelegt ist.
Dieses Framework umfasst die folgenden Schlüsselbereiche:
Daten-Governance
Dabei geht es um die präzise Klassifizierung von Daten, die Implementierung von Zugriffskontrollmechanismen und die Überwachung des Datenflusses durch KI-Systeme. Es weist auch auf die Notwendigkeit hin, Richtlinien anzuwenden, die eindeutig festlegen, welche Daten von KI-Tools genutzt werden dürfen.
Risikomanagement
Dieser Ansatz sieht regelmäßige Sicherheitsaudits, Penetrationstests und die Entwicklung von Verfahren zur Reaktion auf Vorfälle im Umfeld der KI vor. In diesem Zusammenhang wird auch die Implementierung von Mechanismen zur automatischen Abschaltung von Systemen bei Erkennung von Anomalien empfohlen.
Rechtliche Aspekte
Dieser Teil der Strategie befasst sich mit den rechtlichen Rahmenbedingungen für die Implementierung von KI, wie beispielsweise den Anforderungen der DSGVO, der Transparenz von Algorithmen und der besonderen Berücksichtigung von Fragen des geistigen Eigentums im Zusammenhang mit generativen Modellen.
Integration & Akzeptanz
Dieser Aspekt setzt die sichere Integration von KI in bestehende Systeme und systematische Schulungen der Nutzer voraus, die als entscheidende Schritte für eine wirksame Sicherheitsstrategie angesehen werden.