HoloLens pomaga w badaniach nad komputerowym rozpoznawaniem obrazów

HoloLens pomaga w badaniach nad komputerowym rozpoznawaniem obrazów

Autor: Krzysztof Sulikowski

Opublikowano: 7/4/2018, 9:04 PM

Liczba odsłon: 1652

Microsoft powoli przygotowuje się do wpuszczenia na rynek następnej generacji HoloLens - tym razem dedykowanej konsumentom - niemniej jednak pierwsza wersja urządzenia wciąż jest aktywnie eksploatowana, zwłaszcza na polu badawczym. Służy temu unikalna optyka zastosowana w HoloLens, której pełnię możliwości odblokowuje tryb Research Mode, oddany do użytku w April 2018 Update. Microsoft sam z niego korzysta, by ulepszać technologię znaną pod nazwą Computer Vision, i do tego samego zachęca deweloperów oraz badaczy.

HoloLens

HoloLens to nie tylko pierwszy samodzielny komputer holograficzny, ale też narzędzie badawcze dla samych jego twórców. Ważny zwrot w możliwościach urządzenia zapewnił April 2018 Update dla HoloLens, który wprowadził tzw. Research Mode. Tryb ten daje deweloperom dostęp do kluczowych sensorów HoloLens, takich jak cztery kamery śledzące, dwie wersje czujnika głębi i dwie wersje czujnika podczerwieni. Surowe, nieprzetworzone dane z tych sensorów można wykorzystać w aplikacjach przemysłowych lub akademickich, by testować nowe idee na polach komputerowego rozpoznawania obrazu czy robotyki. Dzięki trybowi dla badaczy kod aplikacji może nie tylko pozyskiwać streamy wideo i audio, ale też korzystać z rezultatów wbudowanych algorytmów Computer Vision, takich jak SLAM (simultaneous localization and mapping - jednoczesne lokalizowanie i mapowanie), by otrzymywać zarówno dane o położeniu urządzenia, jak i siatki 3D otoczenia. Jest to możliwe dzięki kilku wbudowanym czujnikom obrazu, które uzupełniają kolorowy obraz z kamery, dostępny dla zwykłych aplikacji.

HoloLens posiada cztery śledzące otoczenie kamery pracujące w skali odcieni szarości, które ogarniają otoczenie i przechwytują gesty użytkownika. Są one sprzęgnięte na zasadzie "stereo" po obu stronach urządzenia, zatem głębia ogólna wyznaczana jest poprzez triangulację. W międzyczasie dwie dodatkowe kamery z tego samego zestawu zapewniają szersze pole widzenia. Ich synchronizacja według Microsoftu sprawia, że są znacznie bardziej czułe na światło niż kamera kolorowa i mogą przechwytywać obraz z częstotliwością do 30 FPS.

HoloLens

Kamera pełniąca rolę czujnika głębi używa z kolei promieniowania podczerwonego. Może ona pracować w dwóch trybach. Pierwszy umożliwia pracę czujnika w wysokiej częstotliwości (30 FPS) i w bliskim polu. Z reguły dotyczy to rozpoznawania gestów czynionych rękami. Tryb drugi działa w niskich częstotliwościach (1-5 FPS) i w dalekich polach, odpowiadając za mapowanie przestrzenne. Poza samym pomiarem głębi kamera ta dostarcza też aktywnie obrazów IR, które - jak twierdzi Microsoft - mogą okazać się cenne dlatego, że są oświetlane przez HoloLens i nie są dotknięte oświetleniem tła.

Dla deweloperów i badaczy oznacza to przede wszystkim tyle, że prócz wbudowanych algorytmów Computer Vision w HoloLens mogą również używać surowych danych, pochodzących bezpośrednio z czujników. Z odblokowaniem tych strumieni Microsoft zwlekał długo, jednak ostatecznie podjął chyba dobrą decyzję. Strumienie surowych danych mogą być przetwarzane zarówno przez algorytmy HoloLens, jak i przez własne algorytmy deweloperów. Może to się odbywać lokalnie na HoloLens, ale strumienie można też wyprowadzić bezprzewodowo do PC lub chmury, by tam wykonać bardziej zasobożerne zadania.

HoloLens 2.0 + Kinect

HoloLens stał się urządzeniem nowatorskim także z powodu podejścia do interfejsu. Jest nim po prostu pole widzenia użytkownika. Gdy popatrzymy na to od drugiej strony, perspektywa pierwszoosobowa (FPS) użytkownika staje się również przedmiotem analizy wizualnej. W rzeczywistości jednak sensory obecne w HoloLens nie muszą mieć nawet styczności z człowiekiem. Optyka, którą Microsoft sam tworzy dla HoloLens 2.0, składa się z tych samych komponentów, które tworzą Project Kinect for Azure. Rozwiązanie jest dedykowane urządzeniom IoT z myślą o współpracy z Azure.

O praktycznych przykładach zastosowań technologii Computer Vision rozwijanej przez Microsoft pisaliśmy już wielokrotnie, m.in. w kontekście bota rysującego obrazy na podstawie opisu, rozpoznawania twarzy czy wreszcie aplikacji Zdjęcia, która dzięki sztucznej inteligencji pozwala nam indeksować i przeszukiwać nawet bardzo przepastne kolekcje obrazów.