Big Data + AI czyli Azure Databricks wchodzi w fazę ogólnej dostępności

Na zeszłorocznej konferencji deweloperskiej Connect () Microsoft poinformował o wejściu Azure Databricks w fazę Preview. Jest to łatwa w konfiguracji platforma analityczna oparta na Apache Spark, zapewniająca sprawne przepływy pracy w interaktywnej przestrzeni roboczej ze wsparciem dla wielu platform danych i aplikacji. Azure Databricks z wersji zapoznawczej przechodzi teraz na ogólnodostępną, dlatego warto przyjrzeć mu się bliżej.

Azure Databricks - jak wyjaśnia Microsoft - to "platforma analizy oparta na usłudze Apache Spark zoptymalizowana pod kątem platformy usług w chmurze Microsoft Azure. Usługa Databricks, zaprojektowana wspólnie z twórcami usługi Apache Spark, jest zintegrowana z platformą Azure w celu zapewnienia konfigurowania jednym kliknięciem, usprawnionych przepływów pracy oraz interakcyjnego obszaru roboczego, który umożliwia współpracę między analitykami danych, inżynierami danych i analitykami biznesowymi". Platforma zapewnia ponadto możliwości klastra Apache Spark, takie jak Spark SQL i elementy DataFrame, przesyłanie strumieniowe, bibliotekę MLib, wykresy i obliczenia GraphX i interfejs API Spark Core z obsługą języków R, SQL, Python, Scala i Java.

Przez ostatnie 5 lat Apache Spark stał się open source'owym standardem dla zaawansowanej analityki, machine learningu i AI w pracy z Big Data. W projekt zaangażowanych jest ponad 1000 podmiotów. Twórcy projektu, który przerodził się ostatecznie w Apache Spark, współpracowali z Microsoftem nad Azure Databricks. Jak wyjaśnia Microsoft, celem tej platformy jest przyspieszanie innowacji i upraszczanie procesu budowania rozwiązań łączących Big Data i AI w oparciu o Databricks i Azure. Odbywać się to ma na trzech poziomach:

1. Wzrost produktywności użytkowników w rozwijaniu aplikacji Big Data i potoków analitycznych.
2. Globalne skalowanie pozbawione ograniczeń, praca z Big Data za pomocą w pełni zarządzanej usługi w chmurze, która automatycznie skaluje się do potrzeb, bez wysokich kosztów i skomplikowania.
3. Bezpieczeństwo i zgodność, których można oczekiwać od Azure.

Azure Databricks łączy się z Power BI, Azure IoT Hub, Azure Event Hubs, klastrami Azure HDInsight Kafka, Azure Blob Storage, Azure Data Lake Store, Azure SQL Data Warehouse i Azure Cosmos DB. Z ogólnodostępnej wersji usługi korzystać (w tym przetestować za darmo) można już na Portalu Azure.