Inteligentny transfer stylu nie tylko dla statycznych obrazów

Całkiem niedawno pisaliśmy o aplikacji Microsoft Pix Camera, która z wykorzystaniem sztucznej inteligencji przekształca zwykłe zdjęcia w psychodeliczne dzieła sztuki. Tego rodzaju przeniesienie tekstury, wzoru i tonacji z jednego obrazu na inny nazwać możemy transferem stylu. Dotąd spotkaliśmy się z kilkoma algorytmami, które w zadowalający sposób przerabiały zdjęcia, niemniej jednak... kto powiedział, że transfer stylu musi ograniczać się do statycznych obrazów?

Dla wielu użytkowników niespecjalnie biegłych w technikach plastycznych tego typu rozwiązania mogą być jedyną opcją, by w parę minut przerobić zwykłe zdjęcie w coś zupełnie zaskakującego. "Ostatnie osiągnięcia w dziedzinie sztucznej inteligencji (AI/SI), znane jako machine learning, pomagają każdemu - wliczając w to artystyczne antytalencia, takie jak ja - przekształcać obrazy i wideo w kreatywne i dające się udostępnić dzieła sztuki" - pisze Gang Hua z Microsoft Research. Skoro pozostajemy przy temacie wideo, warto przyjrzeć się krótkiej prezentacji działania dedykowanych im algorytmów.

Na prezentacji powyżej widzimy kilka przykładów połączenia sekwencji wideo ze statycznymi obrazami. Co szczególnie ważne, transfer stylu odbywa się w oparciu o nową metodę Microsoft Research. Klatki nie są już przekształcane z osobna (jak na sekwencji po lewej, gdzie widoczne są wyraźne przeskoki), lecz zachowana jest płynność. Taki efekt sprawia, że wideo wygląda rzeczywiście profesjonalnie, nawet jeśli materiał źródłowy jest mizernej jakości nagraniem np. z telefonu lub kamerki.

Jak to działa? "Badania nad transferem stylu eksplorują nowe sposoby przenoszenia stylu artystycznego z jednego obrazu do drugiego, przykładowo nanosząc styl postimpresjonistyczny na zdjęcie naszego ogrodu. Wyzwaniem dla aplikacji pokroju Microsoft Pix jest oferowanie użytkownikom wielu stylów do wyboru i możliwość ich transferu na obrazy w sposób szybki i efektywny. Nasze rozwiązanie, Style Bank, traktuje style wizualne jako zestaw konwolucyjnych banków filtrów, spośród których każdy bank reprezentuje określony styl. By nanieść styl na obraz, auto-encoder dekomponuje obraz wejściowy do postaci wielowarstwych map, niezależnych od jakiegokolwiek stylu. Korespondujący bank filtrów dla określonego stylu otrzymuje owe mapy i poprzez dekoder renderuje obraz w wybranym stylu. Sieć [neuronowa] całkowicie oddziela style od zawartości. Z tego względu możemy zarówno trenować nowe style, jak i renderować stylizowane obrazy dużo wydajniej w porównaniu do oferowanych w tej przestrzeni rozwiązań" - tłumaczy Gang Hua.

Sztuki generatywnej (czy po prostu sztuki maszyn) nie należy już traktować jako zwykłej ciekawostki, bowiem efekty algorytmów przekształcających są nieraz tak dobre, że trudno jednoznacznie ocenić, czy autorem obrazu jest człowiek, czy komputer. Choć ortodoksi powiedzą, że nie jest to prawdziwa sztuka (nie będziemy się kłócić), z pewnością nie można zaprzeczyć, że efekty bywają powalające.