Microsoft od kilku lat współpracuje z OpenAI. W zeszłym roku padła zapowiedź, że obie organizacje będą wspólnie budować nowe technologie superobliczeniowe dla Azure AI, co zostanie wykorzystane m.in. w pracach nad Artificial General Intelligence (AGI), czyli sztuczną inteligencją ogólną. Efektami tej współpracy gigant z Redmond pochwalił się dziś — pierwszego dnia wirtualnej konferencji Microsoft Build 2020.
Firma ogłosiła stworzenie piątego najpotężniejszego (ze znanych publicznie) superkomputera na świecie. Został on zbudowany wspólnie z OpenAI jako produkt wyżej wymienionej współpracy. Superkomputer jest hostowany w Azure, a jego rolą jest trenowanie modeli AI na dużą skalę. O osiągnięciu tego kamienia milowego pisze Kevin Scott, CTO w Microsoft:
Ekscytującą rzeczą związaną z tymi modelami jest zakres rzeczy, które umożliwią. Chodzi o możliwość wykonywania setek ekscytujących rzeczy w przetwarzaniu języka naturalnego jednocześnie i setek ekscytujących rzeczy w computer vision (komputerowym rozpoznawaniu obrazów). A gdy zaczniecie dostrzegać połączenia tych domen percepcyjnych, będziecie mieli nowe aplikacje, które dzisiaj nawet trudno sobie wyobrazić.
Kluczową różnicą między nowymi typami modeli uczących się a wieloma innymi polega na zdolności do wykonywania całej gamy działań w tym samym czasie. Modele i zasoby związane z Microsoft Turing będą dostępne poprzez usługi Azure AI i GitHub, by towarzyszyły deweloperom w ich aplikacjach.
Na superkomputer opracowany przez Microsoft i OpenAI składa się 285 tysięcy rdzeni CPU, 10 tysięcy GPU i łączność sieciowa 400 Gb/s na każdy serwer GPU. Zawiera też nowoczesną infrastrukturę chmurową i dostęp do usług Azure, szybkiego wdrażania, zrównoważonych centrów danych i nie tylko. Microsoft porównał go do innych systemów w rankingu superkomputerów TOP500 — stąd też mowa o piątym miejscu.
Model językowy Microsoft Turing wykorzystuje 17 miliardów parametrów, pozwalając procesowi "samonadzorującego się" uczenia działać w sposób bardziej oparty na niuansach. Podobnie następna generacja modeli AI także będzie miała tę zaletę, że wystarczy wytrenować je raz z użyciem ogromnego zestawu danych i zasobów superobliczeniowych. Aby wykonywały zróżnicowane zadania, wystarczy je "dostroić" przy użyciu dużo mniejszych datasetów. Na temat inicjatywy "AI at Scale" pisze Kevin Scott:
Rozwijając tę najwyższą w swojej klasie infrastrukturę do trenowania dużych modeli AI, ulepszamy cały Azure. Budujemy lepsze komputery, lepsze systemy rozproszone, lepsze sieci, lepsze centra danych. Wszystko to sprawia, że wydajność, koszty i elastyczność całej chmury Azure stają się lepsze.
Inne związane z tym ogłoszenia to m.in. wprowadzenie nowej open source'owej, deep learningowej biblioteki dla PytTorch o nazwie DeepSpeed oraz wsparcia dla rozproszonego treningu dla ONNX Runtime. Pierwszy zmniejsza zapotrzebowanie na moc obliczeniową dla szkolenia dużych modeli, zaś drugi dodaje wsparcie dla treningu modeli nawet 17 razy szybszego od możliwości obecnej wersji ONNX Runtime.
341f31d.png)