Leistungsbericht der Zoom Video SDK

Überblick

TestDevLab – ein Anbieter für Software-Qualitätssicherung und benutzerdefinierte Test-Tool-Entwicklung –hat eine Analyse der Zoom Video SDK und von vier anderen Anbietern für Video SDK durchgeführt: Agora, Vonage TokBox, Chime und Twilio. Das Ziel war es, das Verhalten jeder Plattform und die daraus resultierende Qualität jeder Video SDK zu verstehen. Diese Analyse wurde von Zoom Video Communications, Inc. durchgeführt. Die Ergebnisse in diesem Bericht spiegeln die Testergebnisse von TestDevLab vom 12. Mai 2022 wider.

In diesem Bericht werden zuerst Aspekte zur Bewertung der Video SDK-Qualität beschrieben. Dann folgt eine Analyse der Ergebnisse, besonders im Hinblick auf die Qualität der Leistung, das Durchhaltevermögen der Bandbreite und das Aufrechterhalten einer niedrigen Auslastung der CPU (Central Processing Unit) und des RAM (Random Access Memory) während eines Paketverlusts von 25 %. Informationen zur Testumgebung sind im Anhang verfügbar.

Zoom wurde als benutzerfreundliche, leichte und anpassbare Plattform entwickelt, bei der sehr viel Mühe in die allgemeine Qualität der Video SDK geflossen ist. Sogar bei schlechten Netzwerkverhältnissen, mobilen Testfällen und simulierten ländlichen oder weit entfernten Standorten zeigte die Zoom Video SDK starke Ergebnisse.

TestDevLab hat außerdem Tests durchgeführt, um zu sehen, wie die Video SDKs mit beschränkten Ressourcen, wie Bandbreite, CPU und RAM, umgingen. Die Zoom Video SDK hat weiterhin gute Leistungen erzielt.

TestDevLab hilft Startups und Fortune-500-Unternehmen weltweit, Release-Zyklen zu beschleunigen, die Produktqualität zu verbessern und das Benutzererlebnis zu erweitern. Im Rahmen seiner Services und Lösungen bietet TestDevLab innovative Audio-/Videoqualitätstest und Benchmarking, Funktions-, Regressions-, Sicherheits- und Integrationstests sowie Testautomatisierungsservices für SDKs an. Bei den Tests wenden sie Best Practices an und nutzen Test-Tools und auf den Kunden abgestimmte Testlösungen, die dem Branchenstandard entsprechen.

Bei der Bewertung der Video SDK-Qualität gibt es viele verschiedene Aspekte, die man beachten sollte, unter anderem:

Geräte der Benutzer: TestDevLab hat dieselben Geräte bei allen SDKs verwendet, um zu gewährleisten, dass sie verglichen werden können.

Netzwerkbeschränkungen: Damit eine Vergleichsanalyse durchgeführt werden kann, müssen die Netzwerkbedingungen kontrollierbar sein. TestDevLab hat sich auf vier Netzwerkbeschränkungen konzentriert, unter anderem auf unbegrenzte und begrenzte Bandbreite für den Sender, auf begrenzte Bandbreite für den Empfänger und auf willkürliche 25 % Paketverlust. Jedes Gerät ist mit einem anderen Router verbunden, um eine gute Qualität der Verbindung zu gewährleisten.

Vorhersehbarkeit und Wiederholbarkeit: TestDevLab hat acht Tests durchgeführt, die in vier Testdurchläufe aufgeteilt wurden. Jeder Test wurde zu unterschiedlichen Zeiten durchgeführt, um den Einfluss von potenziellen globalen Netzwerküberlastungen oder unerwarteten Service-Verlangsamungen usw. gering zu halten. Von diesen Tests ausgehend hat TestDevLab fünf Tests mit der höchsten Stabilität genommen.

Analyse: Um die Ergebnisse zu analysieren, hat TestDevLab eine im Prozess integrierte Validierung vorgenommen. Sie gehen die Ergebnisse im Laufe der Zeit für alle Tests durch und überprüfen stichprobenartig Videos, um die Gültigkeit der Daten im Vergleich mit einer subjektiven Betrachtung zu bestätigen.

TestdevLab hat die Tests mehrere Male für jedes Szenario durchgeführt. Bei der mehrfachen Durchführung jedes Tests hat TestDevLab bei jedem Anbieter stabile Ergebnisse in demselben Szenario erhalten. Bei der Analyse der Ergebnisse hat sich TestDevLab auf Folgendes konzentriert:

Qualität der Leistung.
TestDevLab hat die Qualität der Audio- und Videoverzögerung unter verschiedenen Netzwerkbedingungen analysiert. Sie überprüften auch die Bildrate im Vergleich, Bilder pro Sekunde (FPS) und Video Multimethod Assessment Fusion (VMAF).

Ressourcenmanagement unter den Netzwerkbedingungen von Unideal. TestDevLab hat überprüft, wie Anbieter Ressourcen bei einem Paketverlust verwalten.

CPU-/RAM-Nutzung. TestDevLab hat überprüft, wie Anbieter Ressourcen verbrauchen, während eine Anwendung überlastet ist, zum Beispiel, wenn das Video von vielen Teilnehmern in einer Galerieansicht gerendert wird.

Die Qualität der Leistung ist innerhalb einer Vielzahl von Netzwerkbedingungen wichtig. TestDevLab hat die Audio- und Videoverzögerung und Bildraten mit einem unbegrenzten Netzwerk getestet.

Der Test der Audioverzögerung ergab durchweg bei allen Anbietern eine vergleichbare Verzögerung. Nur bei Chime gab es eine etwas längere Verzögerung.

Der Vergleich der Videoverzögerung von Zoom, Agora, Twilio und Chime ergibt eine Verzögerung von meist unter 250 ms. Bei Vonage TokBox jedoch gab es eine Videoverzögerung in einem Bereich von 250 ms bis zu 1.000 ms.

Beim Vergleich der Bildraten wurde festgestellt, dass Zoom über die höchste Bildrate bei Videoanrufen verfügt.

Die Ergebnisse zeigten außerdem, dass Zoom die konstanteste Videoqualität bei allen getesteten Netzwerkbedingungen hat. Der Test begann ohne Beschränkungen der Bandbreite. Dann wurde eine niedrige Bandbreite bei allen Anbietern eingesetzt, erst auf der Seite des Senders, dann auf der Seite des Empfängers.

Als Nächstes hat TestDevLab das Durchhaltevermögen der Quellen während eines Paketverlusts von 25 % überprüft. Ein Paketverlust kann zu einer Verlangsamung des Netzwerks und zu Engpässen führen, den Netzwerkdurchsatz der Bandbreite unterbrechen und teuer sein. Es gibt viele verschiedene Gründe für einen Paketverlust und viele davon passieren unabsichtlich. Ein paar Beispiele sind: Netzwerküberlastung, unzuverlässige Netzwerke, besonders Fehler bei mobilen Geräten und Software, und überlastete Geräte.

Bei diesen Tests mit 25 % Paketverlust zeigte Zoom eine gute Leistung bei der Aufrechterhaltung der Bandbreite. Außerdem wurde die CPU und Speichernutzung während des Verlusts und der beschränkten Netzwerkbedingungen niedrig gehalten. Zoom sorgt für ein intelligentes Management und erhält die Anrufqualität auf konservative Weise.

Die Tests zeigten allerdings, dass Agora einen anderen Ansatz für den Paketverlust zu haben scheint: Um den Paketverlust zu bewältigen, verbraucht Agora viel Bandbreite. Wenn die begrenzte Bitrate die Ursache für den Paketverlust ist, kann der Verbrauch von mehr Bandbreite zu Problemen führen.

Der Vergleich der Audioqualität zwischen Zoom und Agora während eines Paketverlusts von 25 % ergab, dass beide gut mit über 4,00 MOS abschnitten. Die Audioqualität von Twilio jedoch war unbrauchbar und die von Chime fast unbrauchbar. Bei beiden lag der Wert unter 3,00 MOS.

Bei der Audioverzögerung während eines Paketverlusts von 25 % erzielte Zoom einen Anstieg von fast 100 ms, während Agora einen bedeutenderen Anstieg von 200 bis 250 ms zur Bewältigung des Paketverlusts verzeichnete.

Beim Vergleich der Netzwerkbitrate zeigte der Test, dass sowohl Twilio als auch Chime instabil waren und standardmäßig auf sehr niedrige Bitraten zurückgriffen. Im Gegensatz dazu war die Bitrate von Agora sehr hoch, was darauf hinweist, dass das Produkt nicht für die Netzwerküberlastung verantwortlich ist.

Was die CPU-Nutzung angeht, hat Zoom die niedrigste CPU-Auslastung im Vergleich zu den anderen vier Anbietern in den Testszenarien gehabt.

Zoom hatte außerdem die niedrigste RAM-Auslastung. Wie in der Tabelle unten dargestellt, nutzten Twilio und Chime ungefähr 500 MB RAM während eines Paketverlusts von 25 % und Agora nutzte über 3 GB bei Videoanrufen.

Das sind die Vorteile einer niedrigeren CPU- und RAM-Auslastung:

Eine niedrigere CPU- und RAM-Auslastung ist die perfekte Ausgangslage für eine in andere Anwendungen eingebettete A/V in Echtzeit mit hohem Ressourcenverbrauch, wie Videospiele und Grafikanwendungen für kollaboratives Arbeiten wie CAD und 3D-Design.

TestDevLab hat die CPU-Nutzung pro Benutzeranzahl und die Speicherauslastung im Laufe der Zeit untersucht. Während der Tests wurde festgestellt, dass die Zoom Video SDK eine niedrigere CPU genutzt hat. Wie schon erwähnt, kann eine niedrigere CPU-Auslastung für ein gutes Benutzererlebnis, eine bessere App-Leistung mit mehr verfügbaren Ressourcen und weniger Beschwerden zur Überlastung des Akkus während der App-Nutzung sorgen.

Während derselben Tests konnte Agora keine Galerieansicht mit 32-teiligem Raster anzeigen. Darüber hinaus hat Vonage TokBox ständig mehr CPU genutzt als die anderen Anbieter.

Die Zoom Video SDK ist eine gute Option für alle Netzwerkszenarien, einschließlich derer mit beschränkten Ressourcen, wie Bandbreite, CPU und RAM.

TestDevLab hat die Tests für jedes Szenario mehrere Male durchgeführt und jedes Mal waren die Ergebnisse konstant. Die Zoom Video SDK stach aus folgenden Gründen hervor:

Erfahren Sie auf dieser Seite, wie Sie Ihre Entwicklung beschleunigen und vollständig anpassbare videobasierte Anwendungen entwickeln.

Die Umgebung

Die Video SDKs, darunter die Zoom Video SDK und die von Agora, Vonage TokBox, Chime und Twilio, wurden in einer Reihe von vordefinierten Szenarien getestet.

TestDevLab hat alle fünf Anbieter und über drei Testtypen mit zwei verschiedenen Mengen von Teilnehmern und vier verschiedenen Netzwerkbeschränkungen getestet, darunter unbegrenzte, geltende Beschränkungen für den Sender, geltende Beschränkungen für den Empfänger und 25 % Paketverlust. TestDevLab hat acht Tests in vier Testdurchläufe aufgeteilt und zu verschiedenen Zeiten durchgeführt. Dann hat TestDevLab fünf Tests mit dem stabilsten Verhalten ausgewählt und sie analysiert und dadurch Ergebnisse erzielt.

Um die CPU- und RAM-Auslastung mit verschiedenen Belastungsniveaus zu testen, hat TestDevLab einen Stresstest erstellt, der mit insgesamt 48 Benutzern in einem Anruf beginnt. Während des Videostreams änderte TestDevLabs die Anzahl der Benutzer im Raster alle 60 Sekunden, um die Szenarien mit 32, 16, 8*, 4 und 2 Benutzern zu testen.

Für den Leistungstest wurde die TestDevLab-Plattform folgendermaßen konfiguriert:

Für die Leistungsanalyse hat TestDevLab Testszenarien für Videoanrufe, die dynamische Bildschirmfreigabe und die statische Bildschirmfreigabe durchgeführt. Jedes Szenario wurde fünfmal mit verschiedener Teilnehmeranzahl durchgeführt. Der folgende Prozess wurde angewendet:

*Die Tests von TestDevLab beinhalteten auch einen Galerietest mit 8 Teilnehmern, doch bei der Integration dieses Tests wurde eine falsche Auflösung verwendet, weshalb diese Ergebnisse nicht in der Analyse und im Bericht zu finden sind.