Inteligentne rozpoznawanie zawartości obrazów w Bing

Inteligentne rozpoznawanie zawartości obrazów w Bing

Autor: Krzysztof Sulikowski

Opublikowano: 9/21/2017, 12:40 AM

Liczba odsłon: 3432

W tym roku wyszukiwarka Microsoftu wzbogaciła się o funkcję Bing Visual Search. Jest to zaawansowany mechanizm wyszukiwania obrazem. Od innych silników wyszukiwarek (np. Google) różni się on tym, że pozwala wyszukać z zaznaczonego wycinka obrazu, dzięki czemu możliwe jest znalezienie na przykład identycznego karnisza lub kranu, jak na zdjęciu znajomych, a następnie znalezienie go w sklepie internetowym. Innymi słowy Bing Visual Search pozwala skupić się na indywidualnym detalu zamiast na całości obrazu. Na tym jednak nie koniec.

Bing Visual Search idzie teraz o krok dalej: dzięki nowej funkcji wykrywania obiektów nie trzeba już ręcznie zaznaczać ramek - Bing zrobi to za nas automatycznie. Wyobraźmy sobie taki scenariusz - szukamy inspiracji w modzie i znaleźliśmy grafikę z interesującym zestawem. Bing automatycznie wykrywa kilka obiektów i oznacza je, dlatego nie musimy już sami ich zaznaczać. Po najechaniu na nasz obiekt zainteresowania i kliknięciu Bing automatycznie otoczy go ramką i rozpocznie wyszukiwanie na podstawie tego tylko obiektu. Pod spodem zobaczymy wyniki wyszukiwania obrazem na zasadzie podobieństwa do tego obiektu. Zobaczcie, jak to działa:

Za rozpoznawanie obiektów w Bing Visual Search odpowiada mechanizm Bing Object Detection. Na YouTube pojawił się krótki film przedstawiający kolejną demonstrację działania tych funkcjonalności. Co ciekawe, jest to scenariusz z życia wzięty - oglądamy zdjęcia kuchni i chcemy poszukać w Internecie baterii lub krzesła, które nam się podobają. Jeśli zdjęcie jest na tyle nieczytelne, że Bing Object Detection nie wyodrębnia jego szczegółów, nadal możemy zaznaczyć je sami. Silnik powinien poradzić sobie nawet z niewielkimi obiektami. Prostokąt zaznaczania można dowolnie skalować i zmieniać jego położenie, a wyniki wyszukiwania poniżej będą dostosowywać się dynamicznie. Naszym zdaniem jest to spore ułatwienie.

Co dalej? "Ciągle pracujemy nad poprawą precyzji i skuteczności modelu, eksperymentując z jeszcze bardziej wyrafinowanymi sieciami" - pisze zespół Bing. Trwają też prace nad rozszerzeniem zasięgu Bing Object Detection na inne domeny i ulepszeniem funkcji Celebrity Recognition. W tym momencie narzędzie jest dostępne tylko na platformie PC, jednak wkrótce w inteligentny sposób będzie można wyszukiwać obrazem również na smartfonach.