Tegoroczna konferencja BUILD upłynęła pod znakiem botów. Owe inteligentne interfejsy mają w przyszłości stanowić jeden z głównych modeli komunikacji między użytkownikiem i aplikacją. Boty oparte o framework Microsoftu mogą sięgać do istniejących już rozwiązań, jakimi jest choćby kilkanaście inteligentnych API - systemów rozpoznawania twarzy, zawartości zdjęcia, emocji, mowy, mówcy, analizowania tekstów itd. Co istotne, takie boty może tworzyć każdy deweloper, a Microsoft udostępnia przykłady zastosowań.
W tym tygodniu Microsoft dodał do repozytorium Bot Builder-Samples w serwisie GitHub trzy nowe przykłady zastosowania inteligentnych API (Cognitive Services), oferujących umiejętności z zakresu wizji, mowy i wyszukiwania. Pozwoli to deweloperom zdobyć praktyczną wiedzę, potrzebną do tworzenia mądrzejszych interfejsów opartych na konwersacji.
Prosty przykład rozpoznawania emocji w Emotion API
Poniżej przedstawimy trzy nowe przykłady wraz z ich opisem, odnośnikami, a także opisem kognitywnego API, do którego sięga przykład:
Image Caption: jako dane wejściowe pobiera obraz i zwraca jego opis, korzystając z popularnego Cognitive Services Computer Vision API. Vision API posiada zaawansowane umiejętności identyfikowania zawartości na zdjęciach i w nagraniach wideo. Korzysta z tagów, opisów i modeli specyficznych dla danej domeny, rozpoznając treści na obrazach i kategoryzując wyniki. Przykładowo, możemy skorzystać z Vision API, by rozróżniać twarze, wiek, płeć lub emocje. Istnieje też ciekawa opcja rozróżniania osób niepełnoletnich i dorosłych, co pozwala zautomatyzować proces dostępu do nieodpowiednich dla młodszych odbiorców treści. Przykłady zastosowania: C#, Node.
Speech To Text: jako dane wejściowe pobiera sygnał dźwiękowy i zamienia go na tekst przy użyciu Bing Speech API. Speech API rozpoznaje audio z pliku i dokonuje transkrypcji, zwracając dane tekstowe. Bing Speech API umożliwia tworzenie botów zorientowanych na mowę. Wykorzystuje on wbudowane akustyczne i lingwistyczne algorytmy, które z dużą dokładnością można zastosować w wielu scenariuszach. Działa to także w drugą stronę - gdy bot ma za zadanie odpowiadać użytkownikowi, API przekształca jego dane tekstowe na mowę, która następnie jest odtwarzana użytkownikowi. Są to te same modele speech-to-text oraz text-to-speech, których używa Cortana. Przykłady zastosowania: C#, Node.
Similar Products: pobiera zdjęcie produktu i zwraca listę podobnych produktów dzięki wykorzystaniu możliwości wyszukiwarki Bing. Sugeruje też sklepy internetowe, w których można nabyć taki produkt. Wykorzystano tu oferowany przez Bing Image Search API. Pozwala on na wyszukiwanie obrazem i dostarcza powiązanych wyników z usług Bing. Rezultaty zawierają miniatury, adresy pełnowymiarowych obrazów, informacje o witrynach, metadane obrazów i nie tylko. Jest to ciekawe rozwiązanie dla interfejsów komunikatora, w których (np. w treści wiadomości) można bezpośrednio osadzić podobne wyniki. Ponadto Bing API oferuje inne podobne możliwości, by wymienić tylko rozpoznawanie celebrytów czy wyszukiwanie produktów podobnych wizualnie wraz z adresami sklepów. Przykłady zastosowania: C#, Node.
Swoje własne boty można tworzyć przy wykorzystaniu nie tylko tych trzech, ale także kilkunastu innych kognitywnych API, dodających do zwykłej aplikacji ogromne zaplecze inteligencji. Jak zacząć? Wszystkie niezbędne informacje znajdziecie na stronie Microsoft Bot Framework.
