Co drzemie w goglach Microsoftu?

Tydzień temu opowiadaliśmy Wam, jak z założenia ma wyglądać wykorzystanie HoloLens w domu, mianowicie w jaki sposób gogle Microsoftu mogą nam umilić czas, a także jakie są możliwości ich wykorzystania w pracy. Dodatkowo przedstawiliśmy naszą wizję, a może i fantazję odnośnie dokonywania zakupu samochodu z ich zastosowaniem. Dziś zajmiemy się równie ważną kwestią, jaką jest konstrukcja HoloLens. Postanowiliśmy opowiedzieć Wam o budowie zewnętrznej HoloLens, czyli o tym, jak wyglądają, co rzuca się w oczy i jak oceniamy trwałość produktu. Poruszymy także temat podzespołów wykorzystanych w celu stworzenia dzieła Microsoftu, czyli co, po co i ile. Na rozgrzewkę jednak zaczniemy od lekkiej teorii, czyli od tego, jak obecny kierunek rozwoju technologicznego umożliwił i tym samym przyczynił się do stworzenia HoloLens.

Rozmiar ma znaczenie…

Żyjemy w dobie miniaturyzacji, czego się nie da ukryć. Niegdyś urządzenie takie jak komputer zajmowało całe pomieszczenie, natomiast dziś możemy zmieścić je w małej metalowej obudowie pod biurkiem. Co ciekawe, to, że komputer jest mniejszy, nie oznacza, że jest słabszy. Można by rzec, że miniaturyzacja idzie w parze z wydajnością. W praktyce oznacza to, że wystarczy posiadać coraz mniej urządzeń, aby mieć takie same, a nawet większe możliwości. Przykładem mogą być: zegarek, notes, długopis, rozkład jazdy, odtwarzacz MP3, książka, mapa, czyli przykładowy zestaw, jaki moglibyśmy ze sobą zabrać, jadąc transportem publicznym np. na wakacje. Zabranie takiego zestawu ze sobą mogłoby się wiązać z koniecznością noszenia dodatkowego bagażu. Na szczęście w dzisiejszych czasach wszystkie te elementy zastępuje nam mały, kilkusetgramowy telefon komórkowy, który w dodatku jest cieńszy i mniejszy od książki. Jaki to ma związek z HoloLens? Taki, że skoro w zwykłym smartfonie mieści się tyle zminiaturyzowanej a zarazem wydajnej elektroniki, to czemu nie spróbować wykorzystać takich możliwości w goglach. Microsoft postanowił wykorzystać potencjał miniaturyzacji, kreując w ten sposób własne gogle z własnymi wbudowanymi podzespołami, tworząc swoje dzieło urządzeniem niezależnym. To tyle, jeżeli chodzi o lekką teorię. A teraz…

Nie tylko wygląd się liczy

Na pierwszy rzut oka widzimy dość nietypowe i duże okulary „sportowe”, których wygląd przykuwa uwagę. W przeciwieństwie do tego typu sprzętu innych producentów, te faktycznie przypominają gogle, czego dowodem są nanośniki (noski). Cechą charakterystyczną, jaką widzimy w goglach, są dwie obręcze, a także sporych rozmiarów osłona z przodu zamiast zamkniętej obudowy, z jaką można się spotkać w innych goglach VR. Poza względami estetycznymi, spełniają one rolę osłony dla kamer, czujników, obiektywów oraz innych elementów znajdujących się za nimi. Nie wpływają one na to, co widzimy, a dodatkowa ochrona frontu zawsze się może przydać np. w przypadku upuszczenia gogli. Zza szkieł możemy łatwo dostrzec wbudowane kamery, po dwie na każdej stronie oraz dwie w środkowej części. Jednej z nich towarzyszy czujnik światła. O ich roli opowiemy później. Prócz szkieł, uwagę naszą mogą przykuć również dwa czerwone elementy na środku obręczy, które są głośnikami. Mimo niewielkich rozmiarów, jakość wydawanego przez nie dźwięku przestrzennego jest naprawdę dobra. Słyszane odgłosy są czyste i wyraziste, a mowa narratorów zrozumiała. Warto dodać, że maksymalna głośność wbudowanych głośników jest na tyle duża, że osoby stojące obok nas bez problemu mogą słyszeć dźwięk wydobywających się zeń.

Zajrzyjmy do środka

Teraz zajmiemy się weryfikacją podzespołów wykorzystanych przez HoloLens. Tak jak wspominaliśmy, gogle Microsoftu to urządzenie w pełni samodzielne, posiadające własne podzespoły wbudowane w zewnętrzną obręcz. Poziom zaawansowania podzespołów można ciekawie porównać do kontrolera Kinect oraz topowego smartfonu. Tak naprawdę sprzęt, jaki został wbudowany w HoloLens to bardziej zaawansowany Kinect (rozbudowany o dodatkowe oraz ulepszone sensory) oraz smartfon wyposażony w dodatkową jednostkę obsługującą hologramy. A wszystko to zostało zamknięte w obudowie przypominającej gogle. Aby spis był bardziej czytelny, podzielimy go na kategorie z wypunktowanymi elementami:

1. Część optyczna:
• przezroczyste soczewki holograficzne z falowodem,
• dwa projektory generujące obraz w rozdzielczości Full HD w formacie 16:9,
• automatyczna kalibracja odległości źrenic,
• rozdzielczość hologramów: 2,3 miliona punktów świetlnych,
• gęstość hologramów: ponad 2,5 tysiąca punktów świetlnych na radian.
2. Czujniki:
• jednostka miary inercyjnej (IMU), czyli akcelerometr, żyroskop i magnetometr,
• cztery kamery mapujące otoczenie,
• kamera odpowiedzialna za głębię obrazu,
• 2 megapikselowa kamera odpowiedzialna za wykonywanie zdjęć i rejestrowanie obrazu w jakości HD,
• czujnik światła.
3. Interakcja:
• śledzenie spojrzenia,
• obsługa za pomocą gestów,
• obsługa głosowa.
4. Porty wejścia, wyjścia oraz łączność:
• cztery mikrofony,
• wbudowane głośniki stereo,
• gniazdo jack 3,5 mm,
• przyciski regulacji głośności,
• przyciski regulacji jasności,
• przycisk włączania i wyłączania,
• diody sygnalizujące poziom naładowania baterii,
• Wi-Fi 802.11 ac,
• Micro USB 2.0,
• Bluetooth 4.1 LE (Low Energy).
5. Cechy baterii:
• czas działania podczas użytkowania to około 2,5-3 godziny,
• czas działania w stanie czuwania to około 2 tygodnie,
• w pełni funkcjonalny w trakcie ładowania.
6. Procesory:
• Intel Atom w architekturze 32-bitowej (1 GHz) z pasywnym chłodzeniem i ze wsparciem standardu TPM 2.0,
• własnej produkcji Microsoft Holographic Processing Unit (HPU 1.0).
7. Waga:
• 579 gramów.
8. Pamięć:
• 64GB pamięci Flash (do dyspozycji mamy 54GB),
• 2GB pamięci RAM LDDR3.
9. Zawartość pudełka:
• HoloLens,
• Clicker,
• Ładowarka i kabel,
• Noski,
• Pasek, który możemy doczepić do HoloLens, aby ciężar rozłożyć także na kość ciemieniową (górę) głowy.
10. System i aplikacje:
• Windows 10,
• Dostęp do aplikacji w zależności od zakupionej wersji HoloLens (Commercial Suit posiada więcej aplikacji i funkcji niż Development Edition).

To tyle, jeżeli chodzi o suchą teorię. Soczewki, głębia obrazu, czujnik światła, aż cztery kamery mapujące, itd., itd.. Zapewne obiło nam się to o uszy, ale z czym to się je, to już nie taka prosta sprawa. Postaramy się wyjaśnić krok po kroku, jak HoloLens tworzy widziane przez nas hologramy.

Też chcę popatrzeć

HoloLens jest urządzeniem, które mapuje swoje otoczenie. Dzięki temu nasz świat realny zostaje przeniesiony do wirtualnej rzeczywistości. To umożliwia goglom interpretację naszego otoczenia, a dzięki projektorom i soczewkom mamy możliwość oglądania hologramów w naszym świecie. Dodatkowo HoloLens pracuje na systemie Windows 10, co umożliwia nam korzystanie z aplikacji UWP. I co, to tyle? Nie, to nie wszystko, proszę wrócić na miejsca. To dopiero początek!

Mapowanie otoczenia składa się z kilku ściśle powiązanych ze sobą procesów z wykorzystaniem sporej części podzespołów. Zacznijmy od czterech kamer umieszczonych po bokach. Nie, nie służą one do robienia zdjęć z różnej perspektywy. Ich zadanie polega na rejestrowaniu obrazu, który nas otacza, czyli ścian, podłogi, sufitu, a także innych elementów stałych jak szafki, stół, itd.. Dlaczego aż cztery? Daje to znacznie większą precyzję interpretacji otoczenia. To, co zarejestrują kamery, zostaje przekazywane do HPU, czyli procesora Holographic Processing Unit dedykowanego stricte HoloLens. Na nim skupimy się jednak później. HPU przetwarza zebrane informacje na dwa ujęcia pod odmiennym kątem, efektem czego jest stworzenie obrazu wizualnie w 3D. Na jego podstawie tworzony jest szkielet otoczenia. Tym sposobem HoloLens „widzi” i interpretuje otaczające nas obiekty, ale wciąż nie są one w pełni trójwymiarowe, są płaskie.

Aby nadać temu głębię, wykorzystywane są do tego celu cztery emitery promieni IR, czyli światła podczerwonego. Podobnie jak w przypadku wspomnianych wcześniej kamer, większa ilość ma wpływ na precyzję i dokładność. Z podobnym sposobem określania odległości można się spotkać w kontrolerze Kinect. Emiter wysyła wiązki światła, które odbijają się od napotkanych przeszkód. Te, które po odbiciu się trafią do energooszczędnej kamery głębi (o kącie widzenia 120° na 120°), interpretowane są jako informacja o odległości na podstawie ich jasności, tzn. im większy dystans strumień światła pokonał, tym jest słabszy po powrocie. Zarejestrowana informacja przekazywana jest do HPU, gdzie zostaje zinterpretowana jako głębia. HPU mając obraz otoczenia oraz znając odległości od przeszkód, łączy te dane. Owocem tego jest stworzenie przez HoloLens trójwymiarowego szkieletu otoczenia i to dzięki temu mamy możliwość interakcji hologramów z otoczeniem, np. ekran przeglądarki nie wchodzi w ścianę, a wazon nie jest w stole, ale na nim.

Ważnym elementem interpretacji otoczenia jest także układ nawigacji inercyjnej (IMU) wyposażony w żyroskop, przyśpieszeniomierz oraz magnetometr. Jednostka IMU pozwala goglom na interpretację orientacji oraz naszego położenia. To z kolei pozwala goglom na dopasowanie wyświetlanego obrazu pod odpowiednim kątem względem naszego położenia. Prościej rzecz ujmując, hologram nie jest płaskim dwuwymiarowym obrazem, który wygląda tak samo niezależnie od zmiany pozycji czy poruszania się. Niezależnie od tego, z której strony i z jakiej wysokości na niego spojrzymy, hologram będzie wyglądem i trójwymiarowością przypominał realny przedmiot, któremu możemy się przyglądać w dowolny sposób.

Wiemy już, jak HoloLens interpretuje nasze otoczenie oraz nas względem tego otoczenia. HPU zbiera dane z kamer i czujników, tworząc w ten sposób świat w jego rozumowaniu. Teraz kwestia samych hologramów, czyli skąd się biorą. Na liście podzespołów wymieniliśmy procesor Intel Atom, czyli układ integrujący w sobie CPU i GPU oparty na rozwiązaniach Cherry Trail, produkowany w 14-nanometrowym procesie technologicznym. To właśnie zawarty w nim procesor graficzny jest odpowiedzialny za generowanie wszelkich efektów graficznych. Wygląda to mniej więcej tak, że HPU przekazuje odpowiednio przetworzone informacje zebrane z kamer i czujników do GPU. Na podstawie tych danych, procesor graficzny tworzy hologramy dopasowane do otaczającego nas środowiska, unikając jednocześnie kolizji hologramu z otoczeniem.

HoloLens ma już świat, w którym jesteśmy my oraz hologramy. Teraz pozostaje kwestia naszego wpływu na pozostałe dwa czynniki, czyli obsługę hologramu w tym środowisku. Nie do końca wiadomo, jak dokładnie wygląda korelacja pomiędzy HPU, CPU i GPU w kontekście interpretacji gestów i ruchów ręki, którymi posługujemy się w celu interakcji z hologramami. Działa to na takiej zasadzie: wykonujemy gest chwytania aplikacji i przesuwamy ją, kamera głębi na podstawie odbitych od ręki wiązek światła podczerwonego interpretuje zmianę głębi i przekazuje ją do HPU. Ten z kolei odczytuje te zmiany jako polecenie i/lub ruch (zmianę położenia), przekazując swoją interpretację GPU, który wizualnie dostosowuje hologram. Co ciekawe, wszystko dzieje się w czasie rzeczywistym!

Czy to oznacza, że CPU kwalifikuje się do zasiłku dla bezrobotnych? Oczywiście, że nie. W czasie, kiedy HPU i GPU bawią się razem w tworzenie świata, CPU ciężko pracuje nad utrzymaniem prawidłowego działania systemu Windows 10 i związanymi z nim aplikacjami. To oznacza, że gdyby nie on, to nie mielibyśmy możliwości rozmowy przez Skype ze znajomymi czy uruchomienia innych interesujących nas aplikacji. W zasadzie nie moglibyśmy nic zrobić, przez co HoloLens byłby tylko ozdobą na naszej półce. Dobra robota, CPU!

Na tym etapie można by rzec, że HoloLens stworzył swój własny świat, w który możemy ingerować. Pozostaje teraz kwestia podzielenia się nim z użytkownikiem, czyli wyświetlanie hologramów. W tym celu w HoloLens zostały wykorzystane dwa projektory w postaci malutkich ciekłych kryształków krzemu (LQoD), które są odpowiedzialne za generowanie hologramów. Każdy z nich wyświetla obraz w jakości Full HD i proporcjach 16:9 na podstawie informacji otrzymanych z GPU. Obraz ten z kolei jest kierowany na dwa zwierciadła, które przekazują go na dolną połowę przezroczystych soczewek, które mamy przed oczami. Cały ten mechanizm został zamknięty w malutkiej obudowie nazwanej tajemniczo "silnikami światła" (Lighg engines), pełniącej także rolę podtrzymującą soczewki. Jeżeli chodzi o owe soczewki, to sprawa jest nieco bardziej skomplikowana. Wiemy na pewno, że hologram to nic innego jak generowane światło, które dodawane jest do prawdziwego światła, a co za tym idzie, generowany obraz przez wyświetlacze jest monochromatyczny. Z tego powodu Microsoft zastosował w soczewkach filtry RGB (czerwony, zielony, niebieski). W ten sposób generowany obraz nabiera kolorów. Innowacją zastosowaną w HoloLens jest wykorzystanie falowodu jako czwartej soczewki w celu całkowitego wewnętrznego odbicia (TIR). Najważniejszą cechą takiego rozwiązania jest to, że pomimo przezroczystej soczewki, światło nie przechodzi przez nią, lecz odbija się, bezstratnie trafiając do naszego oka. Dzięki temu widzimy dokładnie świat zza soczewek, a odbity obraz hologramów, który trafia do naszych oczu, jest ostry i wyraźny. Musimy jeszcze przywołać w tym miejscu kąty pola widzenia, które dla HoloLens wynoszą 30° na 17,5° (dla porównania Oculus Rift DK2 posiada kąty pola widzenia na poziomie 100° na 100°). Z jednej strony parametry te wystarczają na komfortową zabawę z goglami, z drugiej jednak obraz holograficzny widoczny jest tylko w środkowym położeniu i lekki ruch głowy powoduje, że obraz jest ucinany. Niestety negatywnie przekłada się to na pracę z HoloLens. Przy wielu holograficznych obiektach (a w szczególności, gdy są one duże), trzeba się sporo naruszać głową (na boki i w górę oraz dół), aby móc wzrokiem objąć cały wirtualny świat. Po dłuższej zabawie mięśnie szyi zaczynają odczuwać zmęczenie, bowiem to one w dużej mierze muszą się napracować. Pozostaje jeszcze kwestia dopasowania pola widzenia, czyli kalibracja odległości źrenic (IPD). W tym przypadku zastosowano dwupoziomową kalibrację, aby dostosować pole widzenia w pionie i poziomie. Już przy pierwszym uruchomieniu możemy dokonać kalibracji. Jednakże regulacja ta na niewiele się zdaje, bowiem pole widzenia ulega tylko niewielkiemu polepszeniu i to właśnie w kierunku wspomnianych wartości kątów. Przy niepoprawnej regulacji pola, widziany przez nas obraz wirtualny jest praktycznie tylko malutkim wycinkiem, a w najgorszym przypadku nie zobaczymy po prostu nic.

Tak to właśnie działa

W ten oto sposób wirtualna rzeczywistość miesza się z naszą realną rzeczywistością (stąd też Microsoft HoloLens określa to terminem mieszanej rzeczywistości). Wiemy również, jaka jest rola najważniejszych podzespołów w HoloLens: HPU jest mózgiem, GPU oczyma, a CPU… też jest ważny! Mapowanie otoczenia i jego interpretacja w trójwymiarze również nie jest już dla nas tajemnicą. W każdym razie mamy nadzieję, że choć trochę przybliżyliśmy Wam zasadę działania HoloLens. Wiadomym jest, że zanim Microsoft wyda wersję, na którą będzie mógł sobie pozwolić typowy Kowalski, może się wiele zmienić we wnętrzu HoloLens. W końcu niedawno zapowiedziano trzecią wersję HoloLens, która ma zostać wydana nie wcześniej niż w 2019 roku. Spodziewamy się, że w nowej wersji mogą zmienić się podzespoły takie jak CPU i GPU; HPU doczeka się nowszej wersji z jeszcze większą mocą obliczeniową, itd. Odnośnie samej mechaniki ciężko cokolwiek powiedzieć. Być może do tego czasu dostępna będzie prostsza i bardziej wydajna technologia projekcji i wyświetlania obrazu. Oczywiście o wszelkich nowościach i zmianach będziemy Was informować na bieżąco. Nie mniej jednak, trzeba przyznać, że na chwilę obecną gogle Microsoftu już robią spore wrażenie. Jest to niewątpliwie kolejny duży krok w rozwoju XR (rozszerzonej rzeczywistości).

To oczywiście nie koniec naszej przygody z HoloLens. Zapraszamy na nasz portal, gdzie za tydzień opowiemy Wam o naszych wrażeniach z użytkowania HoloLens.