Project Zipline: Microsoft otwiera źródła swojego algorytmu kompresji

Project Zipline: Microsoft otwiera źródła swojego algorytmu kompresji

 Krzysztof Sulikowski
Krzysztof Sulikowski
22:47
14.03.2019
3 komentarze
363 wyświetlenia

Możliwość przechowywania i przetwarzania danych w chmurze w sposób ekstremalnie efektywny jest dla Azure kluczowa, zwłaszcza biorąc pod uwagę rosnącą popularność specyficznych obciążeń, które gromadzą duże ilości danych. Aby odpowiedzieć na te potrzeby, Microsoft opracował zaawansowany algorytm kompresji i zoptymalizował implementację sprzętową dla typów danych, które przewijają się przez nastawione na magazynowanie obciążenia. Algorytm ten nosi nazwę Project Zipline i został udostępniony jako open source. Dowiedzmy się więcej o jego możliwościach.

Dzięki inżynieryjnej innowacji na poziomie systemu mogliśmy jednocześnie osiągnąć wyższy współczynnik kompresji, wyższą wydajność i niższą latencję niż w innych algorytmach, które są obecnie dostępne. Pozwala to na kompresję bez kompromisów i umożliwia zawsze aktywne przetwarzanie danych dla różnych modelów użycia w przemyśle, zarówno w chmurze, jak i na urządzeniach krańcowych.
– Kushagra Vaid, General Manager, Azure Hardware Infrastructure

Jakie rezultaty osiąga Zipline? Jego współczynnik kompresji jest nawet dwukrotnie wyższy w porównaniu z powszechnie używanym modelem Zlib-L4 64KB. Bezpośrednią korzyścią dla klienta z tego tytułu będzie potencjalna oszczędność kosztów, a niebezpośrednią - możliwości zaistnienia nowych scenariuszów dzięki dostępowi do petabajtów czy eksabajtów danych w ten oszczędny sposób.

Project Zipline

Jak wcześniej wspomnieliśmy, Project Zipline jest projektem open source'owym. Microsoft otwiera źródła zarówno jego algorytmów kompresji, jak też specyfikacji sprzętowej i kodu Verilog dla RTL (register transfer language). Początkowa zawartość jest dostępna już dzisiaj, a więcej pojawi się niebawem. Jak wskazuje Microsoft, kontrybucja ta da możliwość integracji Zipline z różnymi "krzemowymi" składnikami, takimi jak urządzenia krańcowe czy sieci. Microsoft spodziewa się, że z czasem ta technologia kompresji zadomowi się w kilku segmentach rynku i modelach użytkowania, takich jak przetwarzanie danych, inteligentne SSD, systemy archiwizacji, urządzenia chmurowe, mikroprocesory ogólnego przeznaczenia czy IoT.

Project Zipline

Zipline jest dostępny w ekosystemie Open Compute Project (OCP). Microsoft ogłosił dziś również listę partnerów Zipline w ramach OCP, którzy będą mogli wykorzystać algorytm, by zapewnić lepsze rozwiązania swoim klientom.

Wszystkie produkty Microsoft w jednym miejscu - Sklep CentrumXP


Spodobał Ci się ten artykuł? Podziel się z innymi!

Źródło: https://azure.microsoft.com/en-us/blog/hardware-innovation-for-data-growth-challenges-at-cloud-scale/

Polecamy również w kategorii Microsoft Azure

Komentarze

  • Ja4 10:44 15.03.2019

    A coś więcej o nim wiadomo? Co z wydajnością kompresji? Zrobią do niego nowy format pliku, czy można go zaimplementować w już istniejących? Windows będzie go obsługiwał?

  • Krzysztof Sulikowski 16:36 15.03.2019

    Na razie wiemy tyle, ile wynika z ogłoszenia, którego źródło podlinkowaliśmy pod tekstem. Wydaje się, że to algorytm przede wszystkim zorientowany na chmurę, ale z drugiej strony jest to też open source. Nie potrafię udzielić odpowiedzi na Twoje pytania. Być może więcej wyniknie z dokumentacji.

  • Krzysztof Sulikowski 16:54 15.03.2019

    Zacytuję jeszcze jeden akapit z tego ogłoszenia, choć nie wyjaśnia on jeszcze wszystkiego: "Project Zipline to najnowocześniejsza technologia kompresji, zoptymalizowana pod kątem wielu różnych zestawów danych, a nasze wydanie RTL pozwala dostawcom sprzętu używać projektu referencyjnego, by produkować układy sprzętowe, pozwalające na najwyższą kompresję, najniższy koszt i najniższe zużycie energii przez algorytm. Jest on dostępny dla ekosystemu OCP, więc mogą oni dokładać do niego swój wkład [kontrybucje] i tworzyć dalsze korzyści dla całego ekosystemu, wliczając w to Azure i naszych klientów".

Skomentuj

Autor