Rozwój inteligencji maszynowej czy też sztucznej inteligencji to bez wątpienia zadanie przyszłośćiowe. W fotografii cyfrowej mamy już do czynienia z dobrymi mechanizmami rozpoznawania twarzy. Badacze z Microsoft Research poszli jednak o krok dalej - postanowili stworzyć system rozpoznawania obiektów i innych treści na zdjęciach.
Jak czytamy na Machine Learning Blog, tego roku około 12 badaczy z Microsoft Research postanowiło podjąć się tego zadania i stworzyć automatyczny system podpisywania obrazów. "Wykorzystując całą wiedzę z zakresu 'deep learning' i klasyfikacji oraz rozpoznawania obiektów, pomyśleliśmy, że zbudowanie wiarygodnego systemu to tylko kwestia czasu." - pisze John Platt z Microsoft Research. Algorytmy, nad którymi pracują badacze, zyskały bardzo wysoką ocenę w systemie BLEU, który - mówiąc w skrócie - ocenia jakość tłumaczenia z języka naturalnego na inny. Jak to działa? O tym poniżej.
Automatic Image Captioning działa w trzech krokach. "Najpierw system dzieli obraz na wiele obszarów, które najprawdopodobniej będą obiektami (bazując na krawędziach). Następnie 'głębokie sieci neuronowe' tworzą na ich podstawie wysokiej jakości obrazy wektorowe. Później obrazy te są ładowane do neuronowej sieci, która została wytrenowana do tworzenia słów, odpowiadających obiektom." W efekcie otrzymujemy zestaw niepowiązanych ze sobą słów:
Słowa te są "łączone w rozsądne zdania, z wykorzystaniem modelu językowego." Modele takie wykorzystują teksty 'szkieletowe' (np. dzieła Shakespeara), a następnie tworzą zdania, które odpowiadałyby gramatycznie przetworzonym tekstom.
Rozwijany przez Microsoft Research system nie jest oczywiście idealny. Typowe dla sztucznej inteligencji ograniczenia semantyczne, lingwistyczne czy interpretacyjne nadal sprawiają, że maszyna nie dorównuje człowiekowi pod względem inteligencji. Gdy jednak mamy do czynienia z prostymi symbolami, Automatic Image Captioning będzie sobie radzić całkiem nieźle.
