Project Zipline: Microsoft otwiera źródła swojego algorytmu kompresji

Project Zipline: Microsoft otwiera źródła swojego algorytmu kompresji

 Krzysztof Sulikowski
Krzysztof Sulikowski
22:47
14.03.2019
422 wyświetlenia

Możliwość przechowywania i przetwarzania danych w chmurze w sposób ekstremalnie efektywny jest dla Azure kluczowa, zwłaszcza biorąc pod uwagę rosnącą popularność specyficznych obciążeń, które gromadzą duże ilości danych. Aby odpowiedzieć na te potrzeby, Microsoft opracował zaawansowany algorytm kompresji i zoptymalizował implementację sprzętową dla typów danych, które przewijają się przez nastawione na magazynowanie obciążenia. Algorytm ten nosi nazwę Project Zipline i został udostępniony jako open source. Dowiedzmy się więcej o jego możliwościach.

Dzięki inżynieryjnej innowacji na poziomie systemu mogliśmy jednocześnie osiągnąć wyższy współczynnik kompresji, wyższą wydajność i niższą latencję niż w innych algorytmach, które są obecnie dostępne. Pozwala to na kompresję bez kompromisów i umożliwia zawsze aktywne przetwarzanie danych dla różnych modelów użycia w przemyśle, zarówno w chmurze, jak i na urządzeniach krańcowych.
– Kushagra Vaid, General Manager, Azure Hardware Infrastructure

Jakie rezultaty osiąga Zipline? Jego współczynnik kompresji jest nawet dwukrotnie wyższy w porównaniu z powszechnie używanym modelem Zlib-L4 64KB. Bezpośrednią korzyścią dla klienta z tego tytułu będzie potencjalna oszczędność kosztów, a niebezpośrednią - możliwości zaistnienia nowych scenariuszów dzięki dostępowi do petabajtów czy eksabajtów danych w ten oszczędny sposób.

Project Zipline

Jak wcześniej wspomnieliśmy, Project Zipline jest projektem open source'owym. Microsoft otwiera źródła zarówno jego algorytmów kompresji, jak też specyfikacji sprzętowej i kodu Verilog dla RTL (register transfer language). Początkowa zawartość jest dostępna już dzisiaj, a więcej pojawi się niebawem. Jak wskazuje Microsoft, kontrybucja ta da możliwość integracji Zipline z różnymi "krzemowymi" składnikami, takimi jak urządzenia krańcowe czy sieci. Microsoft spodziewa się, że z czasem ta technologia kompresji zadomowi się w kilku segmentach rynku i modelach użytkowania, takich jak przetwarzanie danych, inteligentne SSD, systemy archiwizacji, urządzenia chmurowe, mikroprocesory ogólnego przeznaczenia czy IoT.

Project Zipline

Zipline jest dostępny w ekosystemie Open Compute Project (OCP). Microsoft ogłosił dziś również listę partnerów Zipline w ramach OCP, którzy będą mogli wykorzystać algorytm, by zapewnić lepsze rozwiązania swoim klientom.

Wszystkie produkty Microsoft w jednym miejscu - Sklep CentrumXP


Spodobał Ci się ten artykuł? Podziel się z innymi!

Źródło: https://azure.microsoft.com/en-us/blog/hardware-innovation-for-data-growth-challenges-at-cloud-scale/

Polecamy również w kategorii Microsoft Azure