Popularne modele sztucznej inteligencji, które znajdujemy w czatbotach i innych aplikacjach AI, to najczęściej duże modele językowe (LLM), których zapotrzebowanie na moc obliczeniową jest zwykle tak duże, że mogą się uruchamiać tylko w centrach danych. Istnieją też jednak małe modele językowe (SLM), które mogą działać na komputerze PC, a nawet na smartfonie. Microsoft właśnie jeden wypuścił.
Microsoft zaprezentował swój najnowszy mały model językowy (small language model) do uruchamiania na urządzeniu. Nosi on nazwę Mu i sprawdzi się w scenariuszach, które wymagają wnioskowania złożonych relacji wejścia-wyjścia. Według producenta został zaprojektowany tak, by pracować wydajnie, działając lokalnie. Co ciekawe, jest to również model napędzający agenta w aplikacji Ustawienia, dostępnego dla Windows Insiderów na Copilot+ PCs. To on kojarzy opisy podawane przez użytkowników z opcjami w Ustawieniach. Przykładowo po napisaniu "mój kursor myszy jest za mały" w wyszukiwarce agent AI wyświetli pod spodem okienko dialogowe "Zwiększ rozmiar wskaźnika myszy z 1 do 3" z przyciskiem "Zastosuj".
Mu jest w pełni obsługiwany przez układ NPU (Neural Processing Unit) znajdujący się na Copilot+ PCs. Jego wydajność odpowiedzi wynosi ponad 100 tokenów na sekundę. To nie tylko mały model językowy (SLM), ale również model w architekturze encoder-decoder zoptymalizowany do wdrożeń na małą skalę. Oznacza to, że "koder najpierw konwertuje dane wejściowe na reprezentację utajoną o stałej długości, a dekoder generuje tokeny wyjściowe na podstawie tej reprezentacji". Ten design zapewnia Mu odpowiednią wydajność, która może sprostać zadaniom wykonywanym na komputerze z Windows.
Microsoft zastosował w Mu kilka optymalizacji, które pozwalają wydusić z SLM jeszcze więcej wydajności. Model był zaś szkolony na GPU Nvidia A100 z Azure Machine Learning w kilku etapach.
Zespalając najnowocześniejsze techniki kwantyzacji z optymalizacjami opartymi na sprzęcie, upewniliśmy się, że Mu jest wysoce efektywny we wdrożeniach z prawdziwego świata, w aplikacjach o ograniczonych zasobach. Aby podnieść łatwość użytkowania Windows, skupiliśmy się na zaadresowaniu wyzwania zmiany setek ustawień systemowych. Naszym celem było stworzenia agenta napędzanego przez AI wewnątrz Ustawień, który rozumie język naturalny i bez trudu zmienia odpowiednie ustawienia.
— Vivek Pradeep, VP, Distinguished Engineer, Windows Applied Sciences
Dowiedz się więcej z naszych artykułów:
- Microsoft wprowadza nowe, małe modele AI: Phi-4-multimodal i Phi-4-mini
- Microsoft Phi-4 oferuje teraz własne modele wnioskujące AI
- Phi Silica, model AI działający lokalnie na NPU w Copilot+ PCs
- AI na urządzeniu dzięki Snapdragon X Plus dla Windows 11 ARM PCs
- Przegląd ekskluzywnych funkcji AI na Copilot+ PCs z Windows 11
-min5dcb124.png)