Microsoft od lat sporo inwestuje w modele sztucznej inteligencji zorientowane na rozumienie języka naturalnego (NLU). Do tej pory firma m.in. przejmowała pracujące nad tym startupy, uzyskała ekskluzywną licencję na model językowy GPT-3 w ramach OpenAI i osiągała na tym polu mniejsze bądź większe sukcesy. Nowy rok 2021 gigant rozpoczął od ogłoszenia, że jego model AI radzi sobie lepiej niż ludzie w benchmarkach SuperGLUE. Co to oznacza?
Rozumienie języka naturalnego to jeden z najwcześniej ustalonych celów AI, zaś SuperGLUE to obecnie jeden z najbardziej wymagających benchmarków, które oceniają modele NLU. Obejmuje on szereg zadań, takich jak odpowiadanie na pytania, wnioskowanie z języka naturalnego, wyszukiwanie korelacji czy ujednoznacznianie. Przykładowe zadanie z wnioskowania zawiera tekst "dziecko stało się odporne na chorobę", pytanie "co jest tego przyczyną?" i dostępne odpowiedzi: "uniknęło ekspozycji na chorobę" i "otrzymało szczepionkę na chorobę". I choć dla człowieka wskazanie prawidłowej odpowiedzi wydaje się proste, model musi zrozumieć związek przyczynowo-skutkowy między głównym zdaniem a odpowiedziami.
Wiele największych zespołów badawczych z całego świata rozwija na dużą skalę swoje wstępnie szkolone modele językowe (PLMs). Microsoft Research posiada swój model DeBERTa, który niedawno otrzymał aktualizację polegającą na wytrenowaniu jego większej wersji zawierającej 48 warstw przekształcających i 1,5 miliarda parametrów. Znaczny wzrost wydajności pojedynczego modelu DeBERTa sprawił, że po raz pierwszy osiągnął on w SuperGLUE wynik wyższy od ludzkiego (89,9 vs. 89.8, 90.3 vs. 89.8), a ponadto znalazł się na szczycie rankingu SuperGLUE.
Microsoft zamierza udostępnić publicznie 1,5-miliarda-parametrowy model DeBERTa oraz jego kod źródłowy. Poza tym DeBERTa jest integrowana z następną wersją modelu reprezentacji języka naturalnego Microsoft Turing (Turing NLRv4). Modele spod szyldu Turing łączą wszystkie innowacje językowe w Microsoft i są trenowane na dużą skalę, aby wspierały takie produkty, jak Bing, Office, Dynamics oraz Azure Cognitive Services. Napędzają one cały szereg scenariuszy angażujących interakcję człowiek-maszyna i człowiek-człowiek poprzez język naturalny (np. czatboty, rekomendacje, odpowiadanie na pytania, wyszukiwanie, asystenci osobiści, wsparcie klienta, generowanie treści), co przynosi korzyści milionom użytkownikom w ramach inicjatywy AI at Scale Microsoftu.
341f31d.png)