W teście na IQ dla cyfrowych asystentów Cortana poniżej średniej

Cortana być może i ma nietuzinkowy charakter, ale (sztuczną) inteligencją nie grzeszy, a przynajmniej na to wskazują wyniki niedawnego testu na IQ dla asystentów cyfrowych. W udzielonych odpowiedziach asystentka Microsoftu wypadła dużo gorzej od konkurencji w postaci Asystenta Google, Siri i Alexy, mimo że rozumiała niemal wszystkie pytania na poziomie bliskim reszcie. Szczegóły i wyniki procentowe prezentujemy poniżej.

Test przeprowadził w tym miesiącu Loop Ventures, zadając czterem asystentom serię 800 pytań i porównując wyniki z wynikami analogicznego testu z kwietnia zeszłego roku. Google Assistant odpowiedział poprawnie na 85,5% pytań, Siri na 78,5%, Alexa na 61,4%, natomiast Cortana tylko na 52,4%. Jeśli chodzi o rozumienie, najlepiej wypadł Google Assistant, który zrozumiał wszystkie 800 pytań. Siri nie zrozumiała 11, Alexa 13, a Cortana 19 pytań.

Zestaw pytań został podzielony na 5 kategorii: lokalne (np. Gdzie jest najbliższa kawiarnia?), komercyjne (np. Czy możesz mi zamówić papierowe ręczniki?), nawigacyjne (np. Jak dojadę do centrum autobusem?), informacyjne (np. Gdzie dziś obejrzę dany film?) i polecenia (np. Przypomnij mi, by zadzwonić do Steve'a o 2 po południu). W pytaniach o charakterze lokalnym Cortana poradziła sobie równie dobrze, jak Alexa, i wypadła od niej nieco lepiej w pytaniach związanych z nawigacją. We wszystkich pozostałych kategoriach asystentka Microsoftu wypadła najgorzej ze wszystkich.

Loop Ventures porównał wyniki z lipca tego roku i sprzed 15 miesięcy. Przez ten czas wszystkie asystentki poprawiły wskaźnik poprawnych odpowiedzi, nie licząc Alexy, której wcześniejsze badanie nie obejmowało. Najbardziej rozwinęła się Siri (13 pkt proc.) i Asystent Google (11 pkt proc.). Cortana także poprawiła swoją inteligencję, ale tylko o 3 pkt proc.

Nie jest do końca jasne, na ile metodologia badań wpłynęła na wyniki poszczególnych asystentów, niemniej jednak należy wiedzieć, że Loop Ventures przeprowadził testy Cortany, Alexy i Siri na iPhonie, czyli platformie, na której tylko Siri korzysta z pełnego dostępu do wszystkich zasobów. Z drugiej strony odzwierciedla to rzeczywiste warunki użytkowe, jako że Cortana na urządzeniach mobilnych działa dziś niemal wyłącznie na Androidzie i iOS.