Microsoft wypuścił niedawno Python Risk Identification Tool for generative AI (PyRIT), framework do automatyzacji z otwartym dostępem, który wspomaga specjalistów bezpieczeństwa i inżynierów ML (machine learningu) w red teamingu (rodzaju kontrolowanego atakowania) bazowych modeli sztucznej inteligencji oraz ich aplikacji. Gigant sam korzysta już z niego do oceny ryzyka związanego z Copilotem.
PyRIT to biblioteka rozwijana przez AI Red Team i dedykowana badaczom oraz inżynierom. Ma ona pomóc im w szacowaniu odporności punktów końcowych ich LLM (dużych modeli językowych, np. GPT-4) na różne zagrożenia, takie jak sfabrykowane/nieuziemione treści (np. halucynacje), nadużycia (np. stronniczość) i niedozwolona zawartość (np. groźby). PyRIT automatyzuje zadania z zakresu AI Red Teaming, pozwalając operatorom skupić się na bardziej zaawansowanej lub czasochłonnej pracy, ale też identyfikować zagrożenia, takie jak nadużycia (np. generowanie malware, jailbreaking) czy zagrożenia prywatności (np. kradzież tożsamości).
Celem tego projektu jest umożliwienie badaczom zdobycia wiedzy o tym, jak dobrze ich modele oraz cały potok wnioskowania radzą sobie w obliczu różnych kategorii zagrożeń. Mogą oni też porównywać odporność poszczególnych iteracji swojego modelu. PyRIT dostarcza więc dane empiryczne o aktualnym stanie ochrony modelu i wykrywa ewentualne degradacje w późniejszych wersjach.
Narzędzie pomaga też badaczom ulepszać zabezpieczenia przeciwko różnym zagrożeniom. Microsoft sam korzysta z PyRIT, aby tworzyć iteracje różnych wersji produktu (i jego metapromptu), aby bardziej efektywnie chronić go przed atakami polegającymi na wstrzyknięciu promptu. Więcej na ten temat można dowiedzieć się z dokumentacji PyRIT w GitHub:
Źródło: https://github.com/Azure/PyRIT
341f31d.png)