Raport o wynikach Zoom Video SDK

Przegląd

TestDevLab – dostawca usług zapewniania jakości oprogramowania i tworzenia narzędzi do testowania na zamówienie – przeprowadził analizę Zoom Video SDK oraz czterech innych dostawców Video SDK: Agora, Vonage TokBox, Chime i Twilio. Celem było poznanie zachowania każdej platformy i wynikającej z tego jakości każdego Video SDK. Analiza ta została wykonana na zlecenie firmy Zoom Video Communications, Inc. Wyniki przedstawione w tym raporcie odzwierciedlają wyniki testów TestDevLab z 12 maja 2022 roku.

Niniejszy raport opisuje w pierwszej kolejności rozważania dotyczące oceny jakości Video SDK. Następnie przedstawiono analizę wyników, w szczególności uwzględniając jakość działania, wytrwałość pasma oraz utrzymanie niskiego zużycia centralnej jednostki obliczeniowej (CPU) i pamięci losowej (RAM) podczas utraty 25% pakietów. Szczegóły dotyczące środowiska testowego znajdują się w załączniku.

Zoom, zaprojektowany d bycia łatwym w użyciu, lekkim i wysoce konfigurowalnym, włożył wiele wysiłku w ogólną jakość swojego Video SDK. Nawet w przypadku słabych scenariuszy sieciowych, przypadków zastosowań mobilnych oraz symulowanych lokalizacji wiejskich lub odległych, wyniki testów Zoom Video SDK były solidne.

Firma TestDevLab przeprowadziła również testy, aby sprawdzić, jak zestawy Video SDK radzą sobie z ograniczonymi zasobami, takimi jak przepustowość, procesor i pamięć RAM. Zoom Video SDK nadal osiągał dobre wyniki.

TestDevLab pomaga startupom i firmom z listy Fortune 500 na całym świecie przyspieszyć cykl wydawniczy, ulepszyć jakość produktów i wrażenia użytkowników. TestDevLab w ramach swoich usług i rozwiązań oferuje innowacyjne testy jakości głosu/wideo i benchmarking, testy funkcjonalne, regresyjne, bezpieczeństwa i integracyjne, jak również usługi automatyzacji testów dla SDK, zgodnie z najlepszymi praktykami i przy użyciu standardowych narzędzi testowych oraz niestandardowych rozwiązań testowych.

Przy ocenie jakości Video SDK należy wziąć pod uwagę wiele różnych aspektów, w tym:

Urządzenia użytkowników: zakres TestDevLab obejmował przetestowanie tych samych urządzeń na wszystkich SDK, aby zapewnić możliwość ich porównania.

Ograniczenia sieci: aby przeprowadzić analizę porównawczą, warunki sieci muszą być możliwe do kontrolowania. Firma TestDevLab skupiła się na czterech ograniczeniach sieciowych, w tym nieograniczonym, ograniczonym paśmie stosowanym wobec nadawcy, ograniczonym paśmie wobec odbiorcy oraz losowej utracie 25% pakietów. Każde urządzenie jest podłączone do innego routera, aby zapewnić jakość połączenia.

Przewidywalność i powtarzalność: firma TestDevLab wykonała osiem testów podzielonych na odcinki testowe po cztery testy. Każdy test został przeprowadzony w innym czasie, aby zmniejszyć wpływ potencjalnych globalnych zatorów sieciowych / niespodziewanych spowolnień usług itp. Z tych testów firma TestDevLab wybrała pięć o najbardziej stabilnym zachowaniu.

Analiza: w celu analizy wyników firma TestDevLab przeprowadziła walidację wewnątrzprocesową. Przeglądane są wyniki w czasie dla wszystkich testów, jak również wideo z wyrywkowym sprawdzaniem, aby potwierdzić ważność danych w porównaniu do subiektywnego spojrzenia.

Firma TestDevLab przeprowadziła testy dla każdego scenariusza wielokrotnie. Firma TestDevLab w każdym teście i dla wszystkich dostawców widziała stabilne wyniki w tym samym scenariuszu podczas wielokrotnego wykonywania. Analizując wyniki, firma TestDevLab zwróciła uwagę na.:

ich jakość. Firma TestDevLab analizowała jakość opóźnienia głosu i opóźnienia wideo w różnych warunkach sieciowych. Przeanalizowano również porównanie liczby klatek na sekundę (FPS) oraz Video Multimethod Assessment Fusion (VMAF).

Zarządzanie zasobami w nieidealnych warunkach sieciowych Firma TestDevLab sprawdziła, jak producenci zarządzają zasobami w sytuacji utraty pakietów.

Użycie CPU/RAM. Firma TestDevLab przyjrzała się temu, jak sprzedawcy zużywają zasoby, gdy aplikacja jest obciążona, np. w widoku galerii renderowane są filmy wielu uczestników.

Jakość działania jest ważna w różnych warunkach sieciowych. Firma TestDevLab przetestowała opóźnienie głosu, opóźnienie wideo i liczbę klatek na sekundę przy nieograniczonej sieci.

Test opóźnienia głosu u różnych dostawców wykazał, że opóźnienie było porównywalne, z wyjątkiem Chime, który działał z nieco większym opóźnieniem.

Jeśli chodzi o porównanie opóźnienia wideo, Zoom, Agora, Twilio i Chime mają opóźnienie wideo w większości poniżej 250 ms. Vonage TokBox natomiast miał opóźnienia wideo od 250 ms do 1000 ms.

W porównaniu liczby klatek na sekundę test wykazał, że Zoom ma najwyższą liczbę klatek na sekundę przy połączeniach wideo.

Wyniki pokazały również, że Zoom miał najbardziej spójną jakość wideo we wszystkich testowanych warunkach sieciowych. Test rozpoczął się bez ograniczeń pasma, następnie zastosowano niskie ograniczenie pasma jednakowo dla wszystkich dostawców, najpierw po stronie nadawczej, a następnie po stronie odbiorczej.

Następnie TestDevLab przyjrzał się wytrwałości źródeł podczas scenariusza utraty 25% pakietów. Utrata pakietów może spowalniać prędkość sieci, powodować wąskie gardła, zakłócać przepustowość sieci i może być kosztowna. Utrata pakietów może nastąpić z różnych powodów, a wiele z nich jest niezamierzonych. Przeciążenia sieci, zawodne sieci, zwłaszcza mobilne, błędy w oprogramowaniu, przeciążone urządzenia to kilka przykładów.

W testach, które obejmowały utratę 25% pakietów Zoom dobrze radził sobie z zachowaniem przepustowości oraz utrzymaniem niskiego zużycia procesora i pamięci w warunkach utraty pakietów i ograniczonej sieci. Zoom zapewnia inteligentne zarządzanie i jest konserwatywny przy zachowaniu jakości połączeń.

Z drugiej strony, testy wykazały, że Agora wydaje się mieć inne podejście do utraty pakietów – daje dużo pasma, aby spróbować obsłużyć utratę pakietów. Jeśli ograniczony bitrate jest przyczyną utraty pakietów, to próba zużycia większej przepustowości może spowodować problemy.

Jeśli chodzi o porównanie jakości dźwięku podczas 25% utraty pakietów, Zoom i Agora poradziły sobie dobrze z jakością głosu, osiągając poziomy powyżej 4,00 MOS. Jednak jakość głosu Twilio uniemożliwiała korzystanie, a jakość Chime była bliska nieużyteczności, z poziomem poniżej 3,00 MOS.

Patrząc na opóźnienie głosu podczas 25% utraty pakietów, Zoom zwiększył się o około 100 ms w porównaniu z Agorą, która miała bardziej znaczący wzrost 200–250 ms, aby obsłużyć utratę pakietów.

Podczas porównania Network Bitrate test wykazał, że zarówno Twilio jak i Chime były niestabilne i domyślnie ustawiały się na bardzo niski bitrate. Z drugiej strony, bitrate Agory był bardzo wysoki, co pokazuje, że produkt może nie uwzględniać przeciążonej sieci przy przypisywaniu przyczyny utraty pakietów.

Jeśli chodzi o wykorzystanie procesora, Zoom używał go najmniej w porównaniu z czterema innymi dostawcami w scenariuszach testowych.

Zoom miał też najniższe zużycie pamięci RAM. Jak widać na poniższym wykresie, zarówno Twilio jak i Chime używały około 500 MB pamięci RAM podczas 25% utraty pakietów, a Agora używała ponad 3 GB przy połączeniach wideo.

Korzyści wynikające z mniejszego zużycia procesora i pamięci RAM obejmują:

Niższe zużycie procesora i pamięci RAM to doskonały przypadek zastosowania technologii A/V w czasie rzeczywistym w innych aplikacjach o dużym zużyciu zasobów, takich jak gry wideo i aplikacje do współpracy graficznej, takie jak CAD i projektowanie 3D.

Firma TestDevLab zbadała zużycie procesora na liczbę użytkowników, zużycie procesora w czasie oraz zużycie pamięci w czasie. W trakcie testów wyniki pokazały, że Zoom Video SDK zużywał niewiele procesora. Jak wspomniano powyżej, niższe zużycie procesora może przełożyć się na dobre wrażenia użytkownika, lepszą wydajność aplikacji z większą ilością dostępnych zasobów i mniej skarg na wyczerpywanie baterii przez aplikację.

Podczas tych samych testów Agora nie była w stanie hostować widoku galerii z podziałem na 32 okna. Ponadto Vonage TokBox konsekwentnie wykorzystywał więcej CPU niż pozostali dostawcy.

Zoom Video SDK jest dobrym rozwiązaniem dla wszystkich scenariuszy sieciowych, w tym tych z ograniczonymi zasobami, takimi jak przepustowość, CPU i RAM.

Testy TestDevLab zostały przeprowadzone dla każdego scenariusza wielokrotnie i za każdym razem wyniki były zgodne. Zoom Video SDK wyróżniał się następującymi cechami:

Dowiedz się, jak przyspieszyć rozwój i budować w pełni konfigurowalne aplikacje oparte na wideo, odwiedzając tę stronę.

Środowisko testowe

Video SDK, w tym Zoom Video SDK, oraz te od Agory, Vonage TokBox, Chime i Twilio, zostały przetestowane w zestawie predefiniowanych scenariuszy.

Firma TestDevLab przetestowała wszystkich pięciu dostawców w trzech typach testów, z dwoma różnymi liczbami uczestników i czterema różnymi ograniczeniami sieci, w tym nieograniczoną, zastosowanym ograniczeniem na nadawcę, zastosowanym ograniczeniem na odbiorcę i 25% utratą pakietów. Firma TestDevLab przeprowadziła osiem testów podzielonych na cztery rundy testowe wykonane w różnym czasie. Firma TestDevLab wybrała pięć testów z najbardziej stabilnym zachowaniem, aby dostarczyć analizę i wyniki.

Aby sprawdzić wykorzystanie procesora i pamięci RAM pod różnymi poziomami obciążenia, firma TestDevLab utworzyła test warunków skrajnych, który rozpoczyna się od połączenia z w sumie 48 użytkownikami. Wideo było przesyłane strumieniowo, a firma TestDevLab zmieniała liczbę użytkowników na siatce co 60 sekund, aby przetestować scenariusze 32, 16, 8*, 4 i 2 użytkowników.

Do testów wydajnościowych platforma TestDevLab została skonfigurowana w następujący sposób:

Firma TestDevLab przeprowadziła scenariusze testowe połączeń wideo, dynamicznego udostępniania ekranu oraz statycznego udostępniania ekranu w celu analizy wydajności. Każdy scenariusz był testowany pięciokrotnie z różną liczbą uczestników. Zastosowano następujący proces:

* Projekt testowy TestDevLab obejmował również test galerii 8-osobowej, jednak w realizacji tego testu zastosowano nieprawidłową rozdzielczość i wyniki te nie zostały uwzględnione w analizie i raporcie.