Czy testy A/B w Windows Insider mają sens? Czego szukają Insiderzy?

W ostatniej aktualizacji Windows 10 Insider Preview (build 18282) Microsoft powrócił do konwencji A/B, czyli testów, w których może uczestniczyć tylko część użytkowników, a pozostali muszą cierpliwie czekać. Tak przynajmniej brzmi oficjalna wersja, bowiem Insiderzy znaleźli sposób na odblokowanie pozornie niedostępnych funkcjonalności. Sprawdźmy wobec tego, jaki jest sens przeprowadzania testów A/B w świetle tego, czego od programu Windows Insider oczekują jego uczestnicy.

Najbardziej znanym przykładem funkcji, która podlegała testom A/B, był interfejs Windows Sets, który debiutował w kompilacjach Insider pod koniec zeszłego roku. Sets, czyli karty w aplikacjach na wzór tych przeglądarkowych, to nowość tyle ciekawa, co niestabilna. My mieliśmy szansę jej używać tylko na części redakcyjnych komputerów, zatem A/B sprawdziło się także u nas. Dalsze losy Sets to osobny temat. Zajmijmy się bieżącymi testami, a te dotyczą funkcji wycięcia obszaru okna, by zapisać jego zrzut. Inicjujemy doświadczenie wycinania skrótem WIN + Shift + S lub Print Screen (jeśli tak ustawiliśmy), wybieramy opcję wycięcia obszaru okna w menu na górze i gotowe! Zaznaczenie będzie zapamiętane dla następnego zrzutu.

Rzecz w tym, że na chwilę obecną nowej funkcji może używać około 50% Insiderów, a dopiero za jakiś czas zostanie udostępniona wszystkim. Tak brzmi oficjalna wersja. A nieoficjalna? Zobaczcie sami.

Jeden z Insiderów, Rafael Rivera, znalazł sposób na włączenie funkcji, która teoretycznie nie była dla niego przeznaczona. Na tweeta zareagował deweloper z Microsoft, Brandon Paddock, który prosi Riverę, aby ten przestał. Cóż, ocenę pozostawiamy Wam. Chcielibyśmy jeszcze spojrzeć na to wszystko z perspektywy Insiderów, a ta została ukazana w wynikach ankiety, którą On MSFT przeprowadził w zeszłym roku. Insiderów pytano o to, dlaczego są Insiderami. Zobaczmy odpowiedzi.

Najwięcej badanych (55,53%) jest Insiderami, aby zyskać wczesny dostęp do kompilacji i funkcji. Drugi główny cel (prawie 39% odpowiedzi) to aby wpłynąć na następną wersję Windows. Marginalne znaczenie miały takie cele, jak aby nauczyć się, jak tworzone jest oprogramowanie (2,64%), z innych powodów (2,16%) i aby połączyć się z pracownikami MS i innymi Insiderami (0,72%). O czym to świadczy? Teoretycznie program niejawnych testów Windows oferuje dostęp do nowych funkcji w zamian za pomoc w ich testowaniu. W praktyce większość Insiderów nie wnosi aktywnie do rozwoju systemu żadnego wkładu, no chyba że mówimy o telemetrii. Nie dziwi nas też nasilenie (a raczej jego brak) pozostałych odpowiedzi. O rozwoju oprogramowania w programie Insider nie nauczymy się praktycznie niczego, gdyż Insiderom nie oferuje się żadnych profesjonalnych narzędzi i szczędzi się im informacji technicznych. Dość marginalny jest też aspekt społecznościowy.

Mówiąc krótko - typowy Insider chce jako pierwszy używać nowych funkcji i średnio interesuje go to, czy może pomóc w rozwoju Windows. Im jednak więcej osób może testować daną funkcję, tym więcej korzyści może z tego odnieść i Microsoft, i sami użytkownicy (wczoraj przytaczaliśmy wyjaśnienia, jak wyglądają testy w Windows Insider Program i dlaczego dane z nich są tak cenne). Testy A/B nie mają zatem sensu, a przynajmniej my nie możemy się go doszukać.