Badacze z Microsoft stworzyli oparty na sztucznej inteligencji system, który nauczył się, jak osiągnąć najwyższy wynik w jednej z najbardziej uzależniających gier z lat 80. Za pomocą metody dziel i rządź agent AI jest w stanie wykonywać złożone zadania, daleko wykraczające ponad możliwości umysłu przeciętnego człowieka. Takim zadaniem jest choćby zbicie najwyższego rekordu w Ms. Pac-Man.
W rozpracowaniu Ms. Pac-Mana pomogła firmie z Redmond technologia Maluuba, czyli deep learningowego startupu przejętego na początku tego roku. "Kompetencje Maluuby w zakresie głębokiego uczenia i uczenia przez wzmacnianie w systemach odpowiadających na pytania i podejmujących decyzje pomogą nam rozwinąć naszą strategię demokratyzacji AI i uczynią ją dostępną i cenną dla każdego - konsumentów, firm i deweloperów" - mówił w styczniu Harry Shum z Microsoft Artificial Intelligence and Research Group - zespołu, do którego dołączyła Maluuba. Efekty wspólnej pracy zostały właśnie ogłoszone. Przy udziale sztucznej inteligencji system nauczył się perfekcyjnej gry w Pac-Mana w wersji na Atari 2600, osiągając maksymalny możliwy wynik wynoszący 999,990 punktów. Choć gra dziś uchodzi za archaiczną, dla grającego w nią komputera wciąż stanowi nie lada wyzwanie. Jak tłumaczy Doina Precup, profesor informatyki z McGill University w Montrealu, jest to znaczące osiągnięcie w badaniach nad AI, w których gry komputerowe stanowią narzędzie testowania jej możliwości - a Ms. Pac-Man do tej pory uchodzi za jedną z najtrudniejszych do rozgryzienia.
Jak więc tego dokonano? Zespół użył metody nazywanej Hybrid Reward Architecture. Zakłada ona wykorzystanie ponad 150 agentów AI równolegle współpracujących między sobą. Zadania są podzielone - jedne wyszukują kulki do zjedzenia, inne starają się uniknąć duchów. Wszystkie agenty odpowiadają przed "super-agentem", który rejestruje ich sugestie i na ich podstawie decyduje, jak pokierować tytułowym Pac-Manem. Nie są to jednak wybory typowo demokratyczne. Jeśli 100 agentów sugeruje, by iść w prawo, bo widzi kulki, a 3 - żeby iść w lewo, bo z prawej nadciąga duch, super-agent wybierze tę drugą opcję, kierując się rozsądkiem. "Wiele firm pracuje nad AI z wykorzystaniem gier, tworząc inteligentne algorytmy, dlatego że aby pokonać te gry, potrzebne jest mnóstwo inteligencji przypominającej tę ludzką" - dodaje Rahul Mehrotra z zespołu Maluuba.
Bez wątpienia SI opracowywana przez Microsoft nauczyła się już wiele, a dzięki nietypowym metodom pracy rozproszonej osiągnie jeszcze więcej. Nadrzędnym celem rozwijania SI nie jest oczywiście wygrywanie gier (choć i to robi wrażenie). Umiejętności strategicznego myślenia i podejmowania decyzji pod presją czasu mogą przysłużyć się (i już to robią) medycynie, kryminalistyce czy innym dziedzinom, które analizują ogromne ilości danych.
341f31d.png)