Microsoft wystąpił w tym tygodniu udział na konferencji Spark + AI Summit, na której przedstawił kilka ciekawych zapowiedzi dla Azure Databricks, platformy analitycznej, opartej na Apache Spark i zoptymalizowanej dla Azure. Ogłoszone zostało wsparcie dla GPU w maszynach wirtualnych i nowy runtime machine learningowy. Obie nowości posłużą do treningu AI i głębokich sieci neuronowych.
Rohan Kumar, CVP Azure Date, przypomina niedawne słowa Satyii Nadelli, który na konferencji Build mówił o rosnącym zapotrzebowaniu obliczeniowym aplikacji zarówno w chmurze, jak i na urządzeniach końcowych. Wiąże się to też z zapotrzebowaniem na nowe możliwości dla machine learningu i sztucznej inteligencji, pozwalające im widzieć, słyszeć i prognozować, ale przede wszystkim przetwarzać ogromne ilości danych. Pierwszy komunikat dla Azure Databricks to wsparcie i dostępność VM-ów z GPU. By szybko budować modele AI na podstawie dużych ilości danych, wymagany jest specjalistyczny sprzęt, taki jak GPU. Deweloperzy używający Azure Databricks mają teraz taką opcję.
Prócz wsparcia dla GPU ogłoszone też nowy runtime maszynowego uczenia - Databricks Runtime ML (Beta). Jest to kolejny krok w rozwoju możliwości AI oferowanych przez Azure Databricks. Runtime umożliwia prowadzenie rozproszonego, multi-GPU treningu głębokich sieci neuronowych z użyciem Horovod wraz z HorovodEstimator, zapewniającego płynną integrację ze Spark DataFrames. Jest on także preinstalowany i prekonfigurowany ze wszystkimi niezbędnymi pakietami, takimi jak TensorFlow, Keras i XGBoost. "Runtime ten pozwala deweloperom budować deep learningowe modele za pomocą kilku linijek kodu" - wyjaśnia Kumar. "Dawniej deweloperzy musieli inwestować sporo czasu i wysiłku, by korzystać z tych zestawów narzędzi. Teraz nie muszą dłużej pisać własnej logiki, by ładować dane, rozpraszać kod treningowy na wiele klastrów i sprawdzać skuteczność modeli".
Azure Databricks wszedł w fazę ogólnej dostępności w marcu tego roku. Więcej szczegółów na temat tego rozwiązania podawaliśmy tutaj.
341f31d.png)