Phi Silica, model AI działający lokalnie na NPU w Copilot+ PCs

Phi Silica, model AI działający lokalnie na NPU w Copilot+ PCs

Autor: Krzysztof Sulikowski

Opublikowano: 5/22/2024, 1:00 PM

Liczba odsłon: 1123

Na konferencji Microsoft Build 2024 został ogłoszony nowy członek rodziny małego modelu językowego Phi-3 – multimodalny Phi-3-vision. Oprócz niego firma ogłosiła jeszcze jeden wariant SLM, powiązany z Copilot+ PCs. Jest to Phi Silica, stanowiący część Windows Copilot Library. Model z 3,3 mld parametrów będzie uruchamiany bezpośrednio na AI PCs.

Phi Silica to lokalny, generatywny model językowy, a zarazem pierwszy mały model językowy (small language model/SLM) wdrażany lokalnie w Windows. Microsoft wyjaśnia, że został on zoptymalizowany, aby uruchamiać się na układach NPU w urządzeniach klasy Copilot Plus PC, aby wnioskować lokalnie i zapewniać niską latencję. Deweloperzy mogą uzyskiwać dostęp do Phi Silica API i dostarczać doświadczenia użytkownika w Windows 11. Windows to pierwsza platforma, która będzie miała najnowocześniejszy mały model językowy (SLM), zbudowany specjalnie dla NPU i dostarczany na miejscu.

Co to jest Windows Copilot Library? Właściwie jest to zestaw interfejsów API, które napędzane są przez ponad 40 modeli działających na urządzeniu i dostarczanych z Windows. Jak wyjaśnia Microsoft, Windows Copilot Library zapewnia bogaty zestaw funkcjonalności, które rozszerzą możliwości deweloperów w wykorzystywaniu AI w Windows. Programiści będą mogli uzyskiwać dostęp do Studio Effects, tłumaczeń napisów w czasie rzeczywistym, Phi Silica, OCR i Recall User Activity APIs w ramach czerwcowego wydania Windows App SDK. Phi Silica API wraz z OCR, Studio Effects, Live Captions i Recall User Activity APIs będą dostępne w Windows Copilot Library w czerwcu. Więcej APIs, takich jak Vector Embedding, RAG API i Text Summarization, stanie się dostępnych później.

Warto jeszcze wspomnieć o Windows Copilot Runtime, środowisku, które rozszerza Microsoft Copilot Stack na Windows i zawiera AI wprowadzoną do każdej warstwy Windows, wliczając w to "fundalmentalną transformację samego systemu operacyjnego". Windows Copilot Runtime ma zawierać wszystko, czego potrzebują deweloperzy do budowania doświadczeń AI. W skład środowiska wchodzą Windows Copilot Library oraz frameworki i toolchainy AI.

Źródło: https://news.microsoft.com/build-2024-book-of-news/

Źródło: https://news.microsoft.com/build-2024-book-of-news/

Jak wykorzystać Copilot w codziennej pracy? Kurs w przedsprzedaży
Jak wykorzystać Copilot w codziennej pracy? Kurs w przedsprzedaży

Wydarzenia