Microsoft Video Indexer (Indeksator wideo) to usługa w chmurze, która pozwala wydobyć z wideo metadane wizualne i związane z mową, a następnie je przeglądać, przeszukiwać czy używać do budowania zaawansowanych doświadczeń wyszukiwania w istniejących aplikacjach. Usługę zaprezentowano po raz pierwszy na konferencji Build w tym roku. W tym tygodniu na kolejnej konferencji - IBC 2018 - Microsoft ogłosił ogólną dostępność serwisu, dodając do niego parę nowych funkcji.
Indeksator wideo to oparta na sztucznej inteligencji usługa zaawansowanej ekstrakcji metadanych. Jest to najnowszy członek rodziny Azure Media Services, który za pośrednictwem bogatego zestawu algorytmów machine learningowych pozwala wydobywać wglądy z plików audio i wideo. Wglądy te mogą zostać użyte do usprawnienia odkrywania i wyszukiwania treści, tworzenia nowych możliwości monetyzacji czy odblokowania nowych doświadczeń opartych na danych. Najogólniej zasadę działania VI opisać można jako orkiestracja wielokanałowej analizy machine learningowej (audio, mowa i obraz) dla plików audio i wideo z użyciem modeli, które są nieustannie doskonalone przez Microsoft Research.
Podstawowe funkcje aplikacji to automatyczne wykrywanie języka, transkrypcja audio, śledzenie i identyfikacja twarzy, indeksowanie osób mówiących, wizualne rozpoznawanie tekstu, wykrywanie głosu i scen, wyodrębnianie kluczowych ramek i słów, analiza tonacji, tłumaczenia, moderowanie zawartości wizualnej, dodawanie etykiet czy rozpoznawanie marek firm. Przechodząc do fazy ogólnej dostępności (GA), Indeksator wideo otrzymał też szereg dodatkowych funkcji, w tym:
- Model rozpoznawania emocji, który wykrywa je w nagraniach audio i wideo na podstawie treści mowy i tonacji głosu.
- Model wnioskowania tematycznego, który został zbudowany, by rozumieć najważniejsze tematy w oparciu o wypowiadane słowa i przesłanki wizualne.
- Model rozpoznawania celebrytów, który posiada w swojej bazie miliony twarzy, pozyskanych z powszechnych źródeł, takich jak IMDB, Wikipedia czy LinkedIn.
Gdy usługa Video Indexer zakończy przetwarzanie i analizę, można przeglądać, selekcjonować, przeszukiwać i publikować szczegółowe informacje o wideo - dodaje Microsoft i podaje przykładowe scenariusze użycia:
- Wyszukiwanie — szczegółowe informacje wyodrębnione z wideo mogą służyć do rozbudowy funkcji wyszukiwania w bibliotece wideo. Na przykład indeksowanie wypowiedzianych słów i twarzy może umożliwić wyszukiwanie w wideo momentów, gdy konkretna osoba wypowiada określone słowa lub gdy dwie osoby są widoczne razem. Wyszukiwanie oparte na takich szczegółowych informacjach przyda się agencjom informacyjnym, instytucjom edukacyjnym, nadawcom, właścicielom zawartości rozrywkowej, w aplikacjach LOB dla przedsiębiorstw i ogólnie w każdej branży z biblioteką wideo, którą użytkownicy muszą przeszukiwać.
- Monetyzacja— usługa Video Indexer może zwiększyć wartość wideo. Przykładowo w branżach zarabiających na reklamach (takich jak media informacyjne czy społecznościowe) możliwe jest dostarczanie trafniejszych reklam przez przekazywanie wyodrębnionych szczegółowych informacji jako dodatkowych danych do serwera reklamowego (wyświetlenie reklamy butów sportowych bardziej pasuje do meczu futbolowego niż zawodów pływackich).
- Zaangażowanie użytkowników — szczegółowe informacje o wideo mogą służyć do zwiększenia stopnia zaangażowania użytkowników przez ustawianie dla nich wideo na odpowiednich momentach. Jako przykład weźmy wideo edukacyjne, w którym przez pierwsze 30 minut omawiane są sfery, a przez kolejne 30 minut — ostrosłupy. Uczeń czytający o ostrosłupach będzie bardziej zadowolony, jeśli wideo będzie ustawione na znaczniku 30. minuty.
Indeksator wideo jest już ogólnodostępny i można go bez problemu używać. Wszystkie informacje o produkcie znajdziecie na stronie Microsoft Azure.
341f31d.png)