Microsoft zaprezentował dwa nowe projekty o otwartym kodzie źródłowym, które mają zrewolucjonizować podejście do bezpieczeństwa autonomicznych systemów agentycznych. RAMPART oraz Clarity, dostępne teraz jako Open Source, pozwalają inżynierom na testowanie agentów AI na wczesnych etapach cyklu życia oprogramowania oraz przekładanie wniosków z testów bezpieczeństwa na powtarzalne mechanizmy inżynieryjne.
Systemy AI w przedsiębiorstwach zmieniły się w ciągu ostatnich 2 lat
Przejście od prostych modeli generujących tekst do zaawansowanych agentów AI zdolnych do samodzielnego działania wymusiło radykalną zmianę w podejściu do zabezpieczeń. Dzisiejsze systemy automatycznie przeszukują bazy danych CRM, zarządzają pocztą e-mail, generują kod programistyczny i wchodzą w interakcje z zewnętrznymi narzędziami. Ta ewolucja niesie ze sobą jednak poważne ryzyka: podatność na ataki typu prompt injection (wstrzykiwanie poleceń), niezamierzone użycie narzędzi oraz trudne do odtworzenia awarie produkcyjne.
Systemy AI wdrażane dziś w przedsiębiorstwach są fundamentalnie różne od tych, które budowaliśmy jeszcze dwa lata temu, ponieważ wykroczyły daleko poza odpowiadanie na pytania w kierunku uzyskiwania dostępu do waszego e-maila, pozyskiwania rekordów z waszego CRM, pisania i wykonywania kodu i podejmowania działań w waszym imieniu w dziesiątkach połączonych systemów. To przejście od "generowania tekstu" do "robienia rzeczy w świecie" całkowicie zmienia równanie bezpieczeństwa, jako że agent, który może działać, może również potencjalnie działać w sposób, jakiego nikt nie przewidział - tłumaczy Ram Shankar Siva Kumar, Data Cowboy w AI Red Team, Microsoft.
Aby pomagać deweloperom zapewnić bezpieczną pracę agentów, gigant z Redmond otworzył źródła dwóch swoich narzędzi: RAMPART oraz Clarity. RAMPART to innowacyjny framework, który automatyzuje testowanie agentów AI w środowiskach CI (Continuous Integration) pod kątem podatności na ataki, dzięki czemu błędy wykryte przez zespoły red-teamowe stają się stałym elementem kontroli jakości. Z kolei Clarity działa jak zaawansowany panel konsultacyjny, pomagający inżynierom i menedżerom szczegółowo przeanalizować sens i architekturę projektu na etapie planowania, zanim w ogóle ruszą prace programistyczne.
RAMPART: ciągłe testowanie bezpieczeństwa w środowisku CI
RAMPART (Risk Assessment & Measurement Platform for Agentic Red Teaming) to framework testowy stworzony bezpośrednio dla inżynierów rozwijających systemy na bieżąco. Został zbudowany na bazie PyRIT - opracowanego przez Microsoft narzędzia do automatyzacji działań typu red-teaming (symulowanych ataków). Podczas gdy PyRIT służy głównie badaczom zabezpieczeń do analizy gotowych systemów (metodą czarnej skrzynki), RAMPART integruje się bezpośrednio z codziennym przepływem pracy programistów.
Doświadczenie deweloperskie opiera się na dobrze znanych testach integracyjnych pisanych w bibliotece pytest. Zespół opisuje scenariusze zagrożeń, łączy się z agentem przez dedykowany adapter i weryfikuje wyniki. Testy te mogą być na stałe włączone do potoków nieustannej integracji (CI) i blokować wdrożenia w przypadku wykrycia błędów. Framework ten wyróżniają:
- Odporność na ataki typu cross-prompt injection: narzędzie skupia się obecnie na scenariuszach, w których agent przetwarza zainfekowane dokumenty, e-maile lub zgłoszenia, mogące manipulować jego zachowaniem.
- Obsługa probabilistycznego charakteru LLM: jako że zachowanie modeli językowych bywa nieprzewidywalne, RAMPART pozwala na uruchamianie testów statystycznych. Możliwe jest zdefiniowanie reguł takich jak: "to działanie musi być bezpieczne w co najmniej 80% prób".
- Powtarzalność incydentów: odkrycia zespołów Red Team mogą być trwale przekształcone w testy RAMPART. Dzięki temu inżynierowie zyskują pewność, że raz naprawiony błąd nie powróci przy kolejnych aktualizacjach kodu.
Clarity: analiza założeń architektonicznych przed napisaniem kodu
Podczas gdy większość narzędzi AI dąży do przyspieszenia samego pisania kodu, zadaniem Clarity jest zatrzymanie się i upewnienie, że zespół podąża we właściwym kierunku. Narzędzie pomaga przeanalizować cele biznesowe i projektowe na samym początku drogi, kiedy zmiana kursu jest najtańsza, co pozwala uniknąć miesięcy poprawek w przyszłości.
Clarity działa jako aplikacja desktopowa, interfejs webowy lub element zintegrowany z agentem programistycznym. Prowadzi inżynierów przez ustrukturyzowane dyskusje dotyczące problemów, rozwiązań i potencjalnych awarii. Efekty tych rozmów są zapisywane w repozytorium projektu w katalogu .clarity-protocol/ w formie czytelnych plików Markdown. Są one traktowane jak zwykły kod źródłowy - podlegają pull requestom oraz śledzeniu zmian.
Wyjątkowym elementem Clarity jest zaawansowana analiza awarii:
- Niezależni "myśliciele" AI: wiele wyspecjalizowanych modeli sztucznej inteligencji bada projekt pod różnymi kątami - od bezpieczeństwa, przez czynniki ludzkie i scenariusze testowe, aż po kwestie operacyjne.
- Graf zależności: Clarity śledzi aktualność dokumentów. Jeśli zmienią się założenia początkowe, system automatycznie informuje zespół o konieczności zweryfikowania powiązanych analiz i decyzji.
- Archiwizacja decyzji: narzędzie dokumentuje rozważane opcje i powody odrzucenia alternatywnych rozwiązań, stanowiąc cenne źródło wiedzy dla zespołu w przyszłości.
Dostępność nowych narzędzi do zapewniania bezpieczeństwa AI
Nowe projekty Microsoftu to kamień milowy w dążeniu do tzw. inżynieryjnego bezpieczeństwa AI. Wpisują się one w strategię przekładania odgórnych zasad bezpieczeństwa na mierzalne wskaźniki efektywności. W tym duecie Clarity odpowiada za klarowność architektury i założeń na starcie, a RAMPART daje programistom narzędzia do ciągłej weryfikacji kodu w miarę rozwoju aplikacji. W efekcie kwestie bezpieczeństwa stają się integralną, stale aktualizowaną częścią repozytorium projektu.
Microsoft poinformował, że oba narzędzia zostały udostępnione w formule Open Source i można z nich korzystać już dziś. RAMPART i Clarity znajdziesz w GitHub.
Dowiedz się więcej z naszych artykułów:
- Agentowa rewolucja w firmach. Sztuczna inteligencja wymaga większej ochrony
- Microsoft Agent Framework. Takiej platformy dla agentów AI jeszcze nie było
- Microsoft Agent 365. Nowa platforma do zarządzania agentami AI
- Microsoft Entra Agent ID - nowy sposób zarządzania agentami AI
- Work IQ, Fabric IQ i Foundry IQ. Jednolita warstwa inteligencji dla agentów AI
