Możliwość przechowywania i przetwarzania danych w chmurze w sposób ekstremalnie efektywny jest dla Azure kluczowa, zwłaszcza biorąc pod uwagę rosnącą popularność specyficznych obciążeń, które gromadzą duże ilości danych. Aby odpowiedzieć na te potrzeby, Microsoft opracował zaawansowany algorytm kompresji i zoptymalizował implementację sprzętową dla typów danych, które przewijają się przez nastawione na magazynowanie obciążenia. Algorytm ten nosi nazwę Project Zipline i został udostępniony jako open source. Dowiedzmy się więcej o jego możliwościach.
Dzięki inżynieryjnej innowacji na poziomie systemu mogliśmy jednocześnie osiągnąć wyższy współczynnik kompresji, wyższą wydajność i niższą latencję niż w innych algorytmach, które są obecnie dostępne. Pozwala to na kompresję bez kompromisów i umożliwia zawsze aktywne przetwarzanie danych dla różnych modelów użycia w przemyśle, zarówno w chmurze, jak i na urządzeniach krańcowych.
– Kushagra Vaid, General Manager, Azure Hardware Infrastructure
Jakie rezultaty osiąga Zipline? Jego współczynnik kompresji jest nawet dwukrotnie wyższy w porównaniu z powszechnie używanym modelem Zlib-L4 64KB. Bezpośrednią korzyścią dla klienta z tego tytułu będzie potencjalna oszczędność kosztów, a niebezpośrednią - możliwości zaistnienia nowych scenariuszów dzięki dostępowi do petabajtów czy eksabajtów danych w ten oszczędny sposób.
Jak wcześniej wspomnieliśmy, Project Zipline jest projektem open source'owym. Microsoft otwiera źródła zarówno jego algorytmów kompresji, jak też specyfikacji sprzętowej i kodu Verilog dla RTL (register transfer language). Początkowa zawartość jest dostępna już dzisiaj, a więcej pojawi się niebawem. Jak wskazuje Microsoft, kontrybucja ta da możliwość integracji Zipline z różnymi "krzemowymi" składnikami, takimi jak urządzenia krańcowe czy sieci. Microsoft spodziewa się, że z czasem ta technologia kompresji zadomowi się w kilku segmentach rynku i modelach użytkowania, takich jak przetwarzanie danych, inteligentne SSD, systemy archiwizacji, urządzenia chmurowe, mikroprocesory ogólnego przeznaczenia czy IoT.
Zipline jest dostępny w ekosystemie Open Compute Project (OCP). Microsoft ogłosił dziś również listę partnerów Zipline w ramach OCP, którzy będą mogli wykorzystać algorytm, by zapewnić lepsze rozwiązania swoim klientom.
341f31d.png)