Microsoft ogłosił nowe możliwości dostrajania modeli sztucznej inteligencji w Azure AI Foundry, wliczając w to technikę Reinforcement Fine-Tuning (RFT). Wykorzystuje ona wnioskowanie łańcucha myśli (chain-of-thought) oraz ocenianie specyficzne dla zadania, tak aby poprawić wydajność modelu w konkretnych domenach. Dostępna jest również technika Supervised Fine-Tuning (SFT).
OpenAI uruchomiło program alpha dla Reinforcement Fine-Tuning w grudniu zeszłego roku. Według testerów ze wczesnym dostępem RFT zapewnia 40-procentowy wzrost wydajności w porównaniu z gotowymi modelami. Technika ta wprowadza nowy poziom kontroli i dopasowania zachowania modelu do złożonej logiki biznesowej. Nagradzając poprawne rozumowanie i karząc niepożądane wyniki, RFT poprawia podejmowanie decyzji modelu w dynamicznych i wymagających środowiskach – wyjaśnia Alicia Frame, PPM Azure AI Foundry.
RFT w Azure AI Foundry obejmie wkrótce model OpenAI o4-mini, dla którego odblokuje nowe scenariusze użycia, wymagające adaptacyjnego wnioskowania, świadomości kontekstowej i logiki specyficznej dla danej domeny, zachowując przy tym wydajność wnioskowania.
Kiedy warto sięgać po Reinforcement Fine-Tuning? Microsoft twierdzi, że to technika idealna w przypadkach, gdzie niezbędne są zdolność adaptacji, uczenie się iteracyjne i zachowanie specyficzne dla domeny. Jeśli scenariusz obejmuje implementację niestandardowych reguł, standardy operacyjne specyficzne dla domeny i/lub dużą złożoność podejmowania decyzji, RTF będzie trafnym rozwiązaniem.
Gigant poinformował też, że wprowadza Supervised Fine-Tuning (SFT) do modelu GPT-4.1-nano. To mały, ale potężny model bazowy, zoptymalizowany pod kątem obciążeń o wysokiej przepustowości i projektów, w których liczą się koszty. Dzięki SFT możesz zaszczepić w swoim modelu specyficzny dla firmy ton, terminologię, przepływy pracy i ustrukturyzowane wyniki — wszystko dostosowane do Twojej domeny. Ten model będzie dostępny do dostrajania w nadchodzących dniach – zapowiada Alicia Frame.
Dostrajanie modelu GPT-4.1-nano umożliwi skalowanie precyzji, dostarczanie wyników klasy korporacyjnej oraz lekkość i łatwość wdrażania. W porównaniu do większych modeli GPT-4.1-nano oferuje niższe koszty obliczeniowe, dzięki czemu sprawdzi się dobrze w dużych obciążeniach, np. gdy model musi przetwarzać tysiące ticketów na godzinę albo gdy firmowy asystent AI ma postępować zgodnie ze stylem i protokołem organizacji przy tworzeniu podsumowań dokumentacji czy odpowiadaniu na często zadawane pytania.
Microsoft poinformował tez o dostępnym już wsparciu dla fine-tuningu modelu Meta Llama 4 Scout w Azure AI Foundry. Dowiedz się więcej z naszych artykułów:
