Microsoft już od kilku lat rozwija technologie komputerowego widzenia, które zarówno rozpoznają zawartość zdjęć i ją opisują, jak i generują zdjęcia na podstawie opisu. Dzisiaj skupimy się na podejściu zgoła innym, bo obraz jest w nim przekładany na poezję. Strona z aplikacją o nazwie Image2Poem już działa. Wystarczy wrzucić zdjęcie, a bot po paru sekundach przetwarzania wygeneruje nam wiersz.
Image2Poem zaczyna swoją pracę podobnie jak Caption Bot, czyli od rozpoznania elementów na obrazie i zgromadzeniu ich nazw na podstawie swojej wiedzy. Różnica jest taka, że nie kończy się na zwykłym opisie, np. Na zdjęciu widze ulicę, samochody i motocykle, a w tle wieżowce. Rzecz w tym, by ująć to bardziej... poetycko. Bot po przeanalizowaniu sceny "szuka inspiracji". Wokół słów kluczowych tworzone są całe zdania lub po prostu całe wersy. Poem Generator bada różne konotacje, odrzuca te nisko ocenione i wybiera te ocenione wysoko. Schemat możecie zobaczyć poniżej.
Używanie aplikacji jest bardzo proste, choć jest pewien szkopuł - strona działa na razie tylko po chińsku. Nie ma jednak większych problemów z jej przeklikaniem, bo opcji jest tylko parę, w dodatku oznaczonych graficznie. Po wybraniu zdjęcia z dysku i jego zatwierdzeniu bot wykonuje swój przepływ pracy i zwraca nam wiersz w trzech wersjach do wyboru - krótkiej, średniej i długiej. Niestety, także wyniki są po chińsku. O ile nie znamy tego języka (a nie znamy), musimy skopiować wiersz i wkleić go do translatora. Te drobne niedogodności wynagradza nam jednak efekt końcowy, bowiem Image2Poem jest bardzo ciekawym eksperymentem. Wnioski, jakie sztuczna inteligencja wyciąga z naszych fotografii, grafik czy rysunków, są czasem zaskakujące, zwłaszcza gdy zawartość jest wieloznaczna i mało oczywista. Licentia poetica, w którą została wyposażona AI, wynosi to wszystko na jeszcze wyższy poziom abstrakcji.
Aplikację można uruchomić w dowolnej przeglądarce, wchodząc na stronę http://poem.msxiaobing.com/. Dajcie znać, czy Image2Poem zdołał Was czymś zaskoczyć!
