Automatyczne wykrywanie muzyki i tłumienie hałasu w Microsoft Teams

Automatyczne wykrywanie muzyki i tłumienie hałasu w Microsoft Teams

Autor: Krzysztof Sulikowski

Opublikowano: 1/31/2022, 1:16 PM

Liczba odsłon: 2300

Microsoft Teams zaczął oferować swoim użytkownikom więcej funkcji dźwiękowych. Tym razem twórcy wykraczają poza przetwarzanie, kompresję i poprawę jakości mowy ludzkiej, aby skupić się na innych aspektach strumienia audio — muzyce i niepożądanych dźwiękach tła.

Tryb muzyki wysokiej jakości to funkcja, która była zapowiadana już wiele miesięcy temu. To dość wyczekiwana funkcja o wielu zastosowaniach, np. w lekcjach muzyki, wirtualnych wizytach u lekarza czy transmisjach imprez/prezentacji z muzyką. Nowy tryb przesyła takie strumienie dźwięku z częstotliwością próbkowania 32 kHz (pasmo 16 kHz) przy 128 kb/s. Pozwala to uzyskać wysoką wierność przy czterokrotnym zmniejszeniu szybkości transmisji bitów w porównaniu z kodowaniem bezstratnym.

Drugą nowością jest domyślne włączenie aktywnej redukcji hałasów w oparciu o uczenie maszynowe. Model ten wykorzystuje sygnały niebędące mową jako wejściowe, a następnie określa, czy powinien tłumić tę warstwę dźwięków, czy nie. Jeśli algorytm zidentyfikuje sygnał wejściowy jako muzykę, na przykład odtwarzaną podczas lekcji skrzypiec, wówczas wyświetla użytkownikowi monit, że ​​powinien włączyć tryb muzyki wysokiej jakości. A jeśli natomiast faktycznie wykryje niepożądany hałas, który nie jest muzyką, automatycznie go wytłumi.

Microsoft twierdzi, że zbudował w/w model, trenując konwolucyjną sieć neuronową na zestawie zawierającym milion klipów audio z dźwiękiem i muzyką. Zestaw szkoleniowy zawierał dźwięki z różnych środowisk i instrumentów, aby zaadresować wiele różnych przypadków użycia. Model wyjściowy został następnie przetestowany na zbiorze 1000 klipów audio, co dało dokładność 81%. Microsoft twierdzi, że jego model przewyższył wszystkie opublikowane badania w tej dziedzinie.

Tłumienie hałasu oparte na ML jest teraz domyślnie włączone dla większości użytkowników aplikacji Teams, podczas gdy automatyczne wykrywanie muzyki zostanie ogólnie wprowadzone w nadchodzących miesiącach.