Przez ostatnie lata (a zwłaszcza ostatni rok) byliśmy świadkami ekspansji sztucznej inteligencji – głównie pod postacią czatbotów. Łączy je zwykle jedno: działają w chmurze i aby z nich korzystać, potrzebne jest połączenie z Internetem. Nie musi tak jednak być, bowiem odpowiednio mocny komputer PC jest w stanie wykonywać obliczenia typowe dla AI, choć tylko w pewnym zakresie.
O sztucznej inteligencji działającej lokalnie na komputerze lub nawet smartfonie mówiło się poważnie już parę lat temu, a w tym roku ta wizja staje się bardziej realna za sprawą AI PC, pecetów wyposażonych w dedykowane układy obliczeniowe wspomagające aplikacje AI. Swoje trzy grosze dorzuciła także Nvidia, prezentując Chat with RTX. Usługa ta pozwoli użytkownikom PC tworzyć własne czatboty oparte na dużych modelach językowych (LLM) i połączone z zawartością przechowywaną lokalnie. Firma udostępnia wersję demonstracyjną na swojej stronie.
Chat With RTX to aplikacja demo, która pozwala Ci spersonalizować duży model językowy (LLM) GPT połączony z Twoją własną zawartością – dokumentami, notatkami, wideo lub innymi danymi. Korzystając z metody retrieval-augmented generation (RAG), TensorRT-LLM i akceleracji RTX, możesz wysyłać zapytania do niestandardowego czatbota, aby szybko uzyskać kontekstowo relewantne odpowiedzi. A ponieważ wszystko to działa lokalnie na Twoim Windows RTX PC lub stacji roboczej, otrzymasz szybkie i bezpieczne wyniki.
— Nvidia
Aby tak intensywne obliczeniowo obciążenie mogło działać na lokalnym PC, potrzebne będą:
- GPU - Nvidia GeForce RTX 30 lub 40 Series GPU albo Nvidia RTX Ampere lub Ada Generation GPU z przynajmniej 8GB VRAM
- RAM - 16GB lub więcej
- OS - Windows 11
- Geforce Driver - 535.11 lub nowszy
Po spełnieniu tych wymagań, pobraniu i zainstalowaniu aplikacji możesz połączyć aplikację Chat with RTX z zawartością przechowywaną lokalnie i używać lokalnego zestawu danych, aby zadawać czatbotowi pytania i uzyskiwać odpowiedzi bez potrzeby samodzielnego przeczesywania tego materiału. Działa to podobnie jak Copilot dla Microsoft 365, który także ma dostęp do Twoich plików, kontaktów, terminów itd., z tym że mieszczących się w OneDrive, Microsoft Graph i dzierżawie Microsoft 365. W odróżnieniu od niego Chat With RTX może działać na lokalnych plikach bez konieczności przetwarzania wszystkiego w chmurze.
Dziś Nvidia udostępnia swoją platformę czatbota jako darmowe "techniczne demo". Może to sugerować, że firma w przyszłości przekształci Chat With RTX w płatną usługę w modelu subskrypcji, choć to na razie tylko domniemania.
341f31d.png)