Główne, korporacyjne ryzyka cybersecurity w implementacji narzędzi AI
Podczas swojego wystąpienia na tegorocznym SAP Now, Szymon Włochowicz zaprezentował listę kluczowych ryzyk korporacyjnych związanych z wykorzystaniem modeli AI. Lista ta została opracowana przez zespół ekspertów Hicron, specjalizujących się w badaniach nad sztuczną inteligencją. Spośród zidentyfikowanych ośmiu obszarów ryzyka, trzy z nich zostały szczegółowo omówione przez naszego przedstawiciela podczas prezentacji.
Nieautoryzowane narzędzia AI (Shadow AI)
Brak audytowalności
Retencja danych przez dostawców
Naruszenia praw autorskich
Halucynacje modelu w procesach decyzyjnych
Wyciek danych przez prompty
Każde zapytanie (prompt) skierowane przez użytkownika do systemu AI niesie ze sobą ryzyko ujawnienia wrażliwych danych firmowych. Szczegółowe prompty mogą zawierać tajemnice przedsiębiorstwa, które podobnie jak w przypadku Shadow AI mogą być wykorzystywane do trenowania modeli i zwracania poufnych informacji pozostałym użytkownikom modeli AI. Dane przekazywane w promptach mogą być przechowywane przez dostawców AI przez nieokreślony czas, co zwiększa ryzyko naruszenia poufności i bezpieczeństwa informacji.
Sytuacja użycia narzędzia AI, która może generować takie ryzyko:
OPIS UŻYCIA NARZĘDZIA: Użytkownik wysyła polecenie do AI, w którego treści zawarta jest tajemnica przedsiębiorstwa, przykładowo: „Przygotuj prezentację na spotkanie z zarządem, w której przedstawisz następujący proces chemiczny…”.
RYZYKO: Dane, które użytkownik przesłał w poleceniu do rozwiązania AI, mogą być wykorzystywane przez narzędzie do uczenia i rozwijania modelu LLM (Large Language Model). Może ono potencjalnie użyć tych informacji do generowania odpowiedzi dla innych firm, tym samym rozpowszechniając dane będące tajemnicą przedsiębiorstwa.
ZAPOBIEGANIE RYZYKU: Chcąc zapobiec takiemu ryzyku należy zwiększać świadomość użytkowników na temat zagrożenia, jakie niesie ze sobą użytkowanie narzędzi AI, wprowadzić zasady AI Governance w przedsiębiorstwie oraz korzystać tylko ze sprawdzonych dostawców narzędzi AI.
Transgraniczne transfery danych
W przypadku korzystania przez przedsiębiorstwa z narzędzi AI zdarza się, że dochodzi do wycieku danych poza jurysdykcję organizacji. Niesie to ryzyko niezgodności z przepisami RODO oraz utraty kontroli nad danymi klientów. Modele AI często hostowane w innych krajach niż lokalizacja macierzystych systemów przedsiębiorstwa, a w związku z tym podlegają odmiennym regulacjom prawnym. Kwestia ta wymaga szczególnej uwagi przy wyborze i integracji narzędzi AI.
Sytuacja użycia narzędzia AI, która może generować takie ryzyko:
OPIS UŻYCIA NARZĘDZIA: W celu opracowania rekomendacji dla handlowców dotyczących postępowań z klientami, firma korzysta z zewnętrznych narzędzi AI, które mają dostęp do danych firmowych. W tym procesie są one przekazywane do modeli LLM znajdujących się w innych krajach, podlegających odmiennym systemom prawnym.
RYZYKO: Przekazywanie danych do modeli LLM w innych jurysdykcjach może prowadzić do naruszenia przepisów dotyczących ochrony danych, takich jak RODO, oraz utraty kontroli nad danymi klientów. Dodatkowym zagrożeniem jest możliwość niewłaściwego konfigurowania modeli danych, co może zwiększyć ryzyko wycieku lub nieautoryzowanego dostępu.
ZAPOBIEGANIE RYZYKU: Chcąc zminimalizować ryzyko, należy zabezpieczyć wykorzystywane narzędzia od strony prawnej oraz korzystać wyłącznie ze sprawdzonych dostawców technologii AI.
Eskalacja uprawnień w systemach AI
Przy nieodpowiednim zabezpieczeniu przedsiębiorstw pojawiają się też sytuacje niezamierzonego udostępniania przez systemy AI danych osobom nieuprawnionym. Odbywa się to zarówno poprzez mechanizmy agregacji i podsumowywania danych, jak i w wyniku celowych ataków cybernetycznych z wykorzystaniem technik nadużycia promptów.
Sytuacja użycia narzędzia AI, która może generować takie ryzyko:
OPIS UŻYCIA NARZĘDZIA: Pracownik średniego szczebla zwraca się do wewnętrznego systemu AI o przygotowanie prezentacji z danymi dotyczącymi widełek wynagrodzeń kadry menedżerskiej lub o historyczne dane płacowe, do których nie powinien mieć dostępu.
RYZYKO: Niewłaściwie skonfigurowane AI, zintegrowane z systemem HR, może udostępnić poufne informacje osobom nieuprawnionym, nie respektując poziomów dostępu. Dodatkowym zagrożeniem są próby obejścia zabezpieczeń przez odpowiednio sformułowane prośby (prompt hacking), przykładowo: podawanie się za osobę uprawnioną. Dodatkowe skomplikowanie sytuacji może w tym przypadku polegać na prośbach użytkowników o udostępnienie agregatów danych (raporty, analizy, podsumowania). Problem może być też zwielokrotniony w momencie przeprowadzania prób zastosowania technik ataku na modele LLM.
ZAPOBIEGANIE RYZYKU: Należy wdrożyć precyzyjną klasyfikację dokumentów i poziomów dostępu oraz mechanizmy kontroli uprawnień na poziomie AI. System powinien być odporny na techniki wymuszania informacji poprzez prompty, a korzystanie z narzędzi AI powinno odbywać się jedynie przez ich renomowanych dostawców.
Dziesięć kluczowych zagrożeń technicznych systemów AI
Wdrażając w struktury organizacji nowe narzędzie wyposażone w sztuczną inteligencję, należy przeanalizować je pod kątem niebezpieczeństw, jakie ich używanie może potencjalnie wygenerować. W Hicron wyodrębniliśmy zespół specjalistów odpowiedzialnych za prace nad rozwiązaniami AI oraz ich integrację z SAP. Jego członkowie pracują jednak w szerszym podejściu, które zaowocowało zidentyfikowaniem potencjalnych ryzyk związanych z wdrażaniem narzędzi sztucznej inteligencji. W trakcie wystąpienia nasz ekspert przedstawił checklistę przygotowaną przez wspomniany zespół.
Zawiera ona dziesięć kluczowych zagrożeń technicznych, które należy uwzględniać przy projektowaniu i wdrażaniu rozwiązań AI w organizacjach:
- Nieograniczona konsumpcja zasobów
- Wstrzyknięcie promptu (Prompt Injection)
- Ujawnianie informacji poufnych
- Niewłaściwe zarządzanie wyjściami
- Słabości wektorów i osadzeń
- Mylne informacje
- Wycieki promptów systemowych
- Nadmierna sprawczość
- Zatruwanie modelu danych
- Kontrola łańcucha dostaw.
AI Governance Framework jako fundament bezpieczeństwa
Przy tak wielu poważnych zagrożeniach wynikających z nieodpowiedzialnego korzystania z narzędzi AI przedsiębiorstwa coraz częściej rozważają możliwości zabezpieczenia się przed nimi. Dlatego coraz więcej z nich decyduje się na wprowadzenie AI Governance Framework. Stanowi ono podstawę skutecznego zarządzania bezpieczeństwem systemów sztucznej inteligencji. Składają się na nie formalne dokumenty jasno określające sposób wprowadzania narzędzi AI.
Ten framework obejmuje następujące kluczowe obszary:
Data Governance
Polega na precyzyjnej klasyfikacji danych, wdrażaniu mechanizmów kontroli dostępu oraz monitorowaniu przepływu danych przez systemy AI. Wskazuje także konieczność stosowania polityk jednoznacznie określających, które dane mogą być wykorzystywane przez narzędzia AI.
Risk Management
To podejście zakłada przeprowadzanie regularnych audytów bezpieczeństwa, testów penetracyjnych i opracowanie procedur reagowania na incydenty związane z AI. W tym zakresie rekomendowane jest także wdrożenie mechanizmów automatycznego wyłączania systemów przy wykryciu anomalii.
Legal Aspects
Ten element strategii wskazuje na uwarunkowania prawne wdrożeń AI, takie jak wymogi RODO, transparentność algorytmów, oraz szczególna uwaga wobec kwestii własności intelektualnej w kontekście modeli generatywnych.
Integration & Adoption
Ten aspekt zakłada bezpieczną integrację AI z istniejącymi systemami oraz systematyczne szkolenia użytkowników zostały przedstawione jako kluczowe kroki w skutecznej strategii bezpieczeństwa.
