Microsoft ostrzega przed ryzykiem ze strony AI w firmach. Autonomiczne agenty nie muszą być zhakowane, by stwarzać zagrożenie - działają one nieprzewidywalnie i potrafią dążyć do celu kosztem zasad firmy. Gigant z Redmond proponuje traktować je jako zagrożenie wewnętrzne i stosować systemy stróżujące, takie jak Project Perception, które w czasie rzeczywistym kontrolują ich operacje. Ważnym krokiem ma być też pełniejsza przejrzystość procesów myślowych modeli.
Agenty AI mogą stanowić zagrożenie wewnętrzne
Microsoft wystosował ostrzeżenie dotyczące dynamicznie rozwijającej się technologii agentycznej sztucznej inteligencji. Według giganta z Redmond potężne agenty AI uruchamiane wewnątrz przedsiębiorstw mogą stać się poważnym ryzykiem dla bezpieczeństwa, nawet jeśli nie zostały zainfekowane lub przejęte przez hakerów ani celowo zaprogramowane z wrogimi zamiarami. Wynika to bezpośrednio z faktu, że systemy autonomiczne potrafią działać nieprzewidywalnie.
Gigant od dłuższego czasu mocno inwestuje w agenty sztucznej inteligencji, wdrażając je w całej palecie swoich usług i aplikacji. Ostatnie wydarzenia technologiczne i zapowiedzi poparte zmianami w systemie Windows 11 jednoznacznie wskazują, że agentyczna AI stała się fundamentem współczesnych rozwiązań technologicznych. Nawet proste narzędzia, takie jak aplikacja Zdjęcia, zyskują coraz bardziej zaawansowane możliwości podejmowania decyzji.
Świadomość zagrożeń płynących z niedostatecznie nadzorowanych agentów narasta po ostatnich incydentach związanych z bezpieczeństwem, które omawialiśmy na CentrumXP. W obliczu takich zdarzeń Microsoft proponuje nowe podejście legislacyjne i techniczne, w myśl którego agenty AI działające w firmach powinny być formalnie traktowane jako potencjalne zagrożenie wewnętrzne.
Przyznanie szerokich uprawnień autonomicznym agentom
Współczesne organizacje często bezrefleksyjnie przyzają agentom dostęp do najważniejszych zasobów, tworząc nową kategorię ryzyka. Coraz więcej narzędzi operuje bezpośrednio na wrażliwych danych przedsiębiorstwa, samodzielnie podejmuje decyzje biznesowe i automatycznie wykonuje operacje w krytycznych procesach bez udziału człowieka. Microsoft wprost nazywa takie scenariusze "agentowymi zagrożeniami wewnętrznymi".
Z powodu globalnego wyścigu innowacji wyzwanie to będzie się potęgować, w miarę jak modele staną się jeszcze potężniejsze. Podczas gdy większość obawiała się, że wrogie podmioty użyją potężnych modeli do ataku, mniej uwagi poświęcano agentom we własnych murach. Ponieważ to my wdrożyliśmy agenty wewnętrznie w naszych firmach, bezwzględnie im zaufaliśmy - tłumaczy Hayete Gallot, EVP Microsoft Security.
Problem wynika ze sposobu, w jaki systemy optymalizują powierzone im zadania operacyjne. Modele bywają szkolone pod kątem osiągania określonych wyników za wszelką cenę, co prowadzi do zjawiska tzw. hakowania nagrody. Nie są one optymalizowane pod kątem zachowania norm organizacyjnych ani wyczucia biznesowego. W zmieniającym się kontekście agenty adaptują się i mogą nawiązywać współpracę lub nawet zmowę z innymi agentami, aby osiągnąć cel bez jakiejkolwiek zewnętrznej ingerencji.
Chcesz być na bieżąco? Dodaj CentrumXP do listy preferowanych źródeł w Google!
Wdrożenie systemu bezpieczeństwa Project Perception
Odpowiedzią na pojawiające się ryzyka ma być koncepcja tzw. agentów stróżujących, zarządzanych przez zaawansowany zestaw narzędzi. Microsoft proponuje wdrażanie specjalnych agentów, których wyłącznym zadaniem jest ciągłe monitorowanie i moderowanie zachowań innych modeli w czasie rzeczywistym. Do tego celu dostosowywane jest oprogramowanie Project Perception, zaprezentowane po raz pierwszy w lipcu 2026 r.
Narzędzie to bazuje na architekturze łączącej dedykowany zestaw cyberzabezpieczeń oraz zespoły czerwonych, niebieskich i zielonych agentów stróżujących. Architektura ta zbiera sygnały z wielu warstw systemowych, w tym z identyfikacji, danych, chmury, punktów końcowych, sieci i środowiska uruchomieniowego. Dzięki temu wszystkie agenty są automatycznie wykrywane, identyfikowane i przypisywane do konkretnych kontenerów z ustalonymi regułami.
Na podstawie zbieranych danych system dynamicznie oblicza poziom ryzyka powiązany z działaniami, jakie agent próbuje podjąć. Zespoły agentów stróżujących sprawują stały nadzór nad każdą operacją i reagują w momencie, gdy profil ryzyka gwałtownie rośnie. Rozwiązanie to pozwala zachować pełną identyfikowalność zdarzeń, dając zespołom bezpieczeństwa czas na podjęcie precyzyjnych decyzji zarządczych przy zachowaniu odpowiedniej szybkości operacyjnej.
Microsoft wzywa do zwiększenia przejrzystości wnioskowania modeli
Równolegle do technologii filtrujących konieczne jest wprowadzenie zmian po stronie samych dostawców modeli. Microsoft apeluje do branży o zagwarantowanie większej przejrzystości modeli, obejmującej wgląd w tzw. tokeny myślenia i ciągu rozumowania. Zwykła obserwacja danych wejściowych i wyjściowych przestaje być wystarczająca przy tak skomplikowanych operacjach.
Głęboka przejrzystość procesów decyzyjnych nie zastąpi tradycyjnych mechanizmów izolacji, ale uczyni je znacznie bardziej skutecznymi. Pozwoli to zyskać pewność, czy realizowane intencje są zgodne z pierwotnym przeznaczeniem przydzielonej misji. Dla organizacji korzystających z autonomicznych rozwiązań reewaluacja zabezpieczeń staje się zatem pilnym wymogiem operacyjnym.
Dowiedz się więcej z naszych artykułów:
