Zoom Video SDK’sı Performans Raporu

Genel Bakış

Yazılımlar için bir kalite kontrolü ve özel test aracı geliştirme sağlayıcısı olan TestDevLab, Zoom Video SDK’sı ve diğer dört Video SDK’sı satıcısı (Agora, Vonage TokBox, Chime ve Twilio) hakkında bir analiz gerçekleştirmiştir. Analiz kapsamında, her platformun davranışlarının ve her Video SDK’sının nihai kalitesinin anlaşılması amaçlanmıştır. Söz konusu analiz, Zoom Video Communications, Inc. tarafından yaptırılmıştır. Bu raporda sunulan bulgularla, TestDevLab tarafından 12 Mayıs 2022 tarihinde gerçekleştirilen testlerin sonuçları yansıtılmaktadır.

Bu raporda öncelikle Video SDK’sı kalitesi değerlendirilirken göz önüne alınan hususlar açıklanmaktadır. Ardından, özellikle %25’lik bir paket kaybı sırasında performans kalitesine, bant genişliğinin korunmasına ve merkezi işlem biriminin (central processing unit – CPU) ve rastgele erişim belleği (random access memory – RAM) kullanımının düşüklüğüne odaklanan sonuçların analizi sunulmaktadır. Test ortamının ayrıntıları ekte sunulmuştur.

Zoom; kullanımı kolay, hafif ve son derece özelleştirilebilir olmak üzere tasarlanan Video SDK’sının genel kalitesinin yüksek olması için çok çaba göstermiştir. Kötü ağ senaryolarında, mobil kullanım durumlarında ve temsili kırsal ve uzak konumlarda bile Zoom Video SDK’sının test sonuçları son derece başarılıdır.

TestDevLab, Video SKD’larının bant genişliği, CPU ve RAM gibi kısıtlı kaynakları nasıl ele aldığını görmeye yönelik testler de yapmıştır. Zoom Video SDK’sı, bu testlerde de yüksek performans göstermeyi sürdürmüştür.

TestDevLab, dünya genelinde filiz şirketlerin ve Fortune 500 şirketlerinin sürüm döngülerini hızlandırmasına, ürün kalitelerini artırmasına ve daha iyi kullanıcı deneyimi sunmasına yardımcı olmaktadır. TestDevLab, sunduğu hizmet ve çözümlerin bir parçası olarak, SDK’lar için test otomasyon hizmetlerinin yanı sıra yenilikçi ses/video kalitesi testleri ve karşılaştırmaları ve işlevsel, gerileme, güvenlik ve integrasyon testleri sunmakta ve en iyi uygulamaları takip ederek endüstri standardı test araçları ve özel test çözümleri kullanmaktadır.

Video SDK’sı kalitesi değerlendirilirken, göz önüne alınması gereken aşağıdakiler dahil pek çok husus vardır:

Kullanıcı Cihazları: TestDevLab, cihazların birbiriyle karşılaştırılabilmesi amacıyla, tüm SDK’larda aynı cihazların test edilmesini kapsama almıştır.

Ağ Kısıtlamaları: Karşılaştırmalı bir analiz gerçekleştirebilmek için, ağ koşullarının kontrol edilebilmesi gerekir. TestDevLab; sınırsız, göndericiye uygulanan bant genişliği sınırlaması, alıcıya uygulanan bant genişliği sınırlaması ve rastgele %25 paket kaybı olmak üzere dört ağ sınırlamasına odaklanmıştır. Kaliteli bir bağlantı elde etmek amacıyla her cihaz farklı bir yönlendiriciye bağlanmıştır.

Tahmin ve Tekrar Edilebilirlik: TestDevLab dört test seferde sekiz test gerçekleştirmiştir. Küresel ağdaki herhangi bir yoğunluk/beklenmeyen hizmet yavaşlaması gibi bir durumun etkisini azaltmak amacıyla, her test farklı bir saatte yapılmıştır. TestDevLab, bu testler arasından en istikrarlı davranışın görüldüğü beş tanesini almıştır.

Analiz: TestDevLab, sonuçları analiz etmek için, bir süreç içi doğrulama işlemi gerçekleştirmiştir. Verilerin geçerliliğini teyit etmek için, öznel bir değerlendirme yerine, anlık denetim videolarının yanı sıra tüm testler için zaman içinde elde edilen sonuçlara bakılmıştır.

TestDevLab, her senaryo için testleri birden fazla kez yapmıştır. Testler birden fazla kez yapıldığında aynı senaryo kapsamında her testte ve tüm tedarikçiler için istikrarlı sonuçlar elde edildiği görülmüştür. TestDevLab, sonuçları analiz ederken şu hususlara bakmıştır:

Performans Kalitesi. TestDevLab, farklı ağ koşulları altında ses gecikmesinin ve video gecikmesinin kalitesini analiz etmiştir. Ayrıca kare hızı karşılaştırmasına, saniyedeki kare sayısına (FPS) ve Video Multimethod Assessment Fusion’a (VMAF) bakılmıştır.

İdeal Olmayan Ağ Şartları Altında Kaynak Yönetimi. TestDevLab, satıcıların bir paket kaybı durumunda kaynakları nasıl yönettiğine bakmıştır.

CPU/RAM Kullanımı. TestDevLab, çok sayıda kullanıcının videoyu görüntülemek için galeri görünümünü kullandığı durumlar gibi bir uygulamanın aşırı yük altında olduğu durumlarda satıcıların kaynakları nasıl tükettiğine bakmıştır.

Farklı ağ durumlarında, performansın kalitesi önem taşır. TestDevLab tarafından, sınırsız bir ağda ses gecikmesi, video gecikmesi ve kare hızları test edilmiştir.

Farklı satıcılarla yapılan ses gecikmesi testinde, çok az daha fazla gecikmeyle çalışan Chime bir istisna olmak kaydıyla, tüm satıcılarda benzer bir gecikme olduğu bulunmuştur.

Video gecikmesi karşılaştırıldığında ise Zoom, Agora, Twilio ve Chime’ın çoğunlukla 250 ms’nin altında bir video gecikmesine sahip olduğu görülmüştür. Buna karşılık, Vonage TokBox uygulamasında 250 ms’den 1.000 ms’ye varan video gecikmeleri söz konusu olmuştur.

Kare hızları karşılaştırıldığında ise, görüntülü aramalarda Zoom’un en yüksek kare hızına sahip olduğu ortaya konmuştur.

Elde edilen sonuçlara göre, test edilen tüm ağ koşullarında Zoom’un en istikrarlı video kalitesine sahip olduğu görülmüştür. Teste, bant genişliği kısıtlaması uygulanmadan başlandıktan sonra, önce gönderici tarafında, ardından da alıcı tarafında olmak üzere tüm satıcılara düşük bant genişliği sınırlaması uygulanmıştır.

Ardından TestDevLab, %25 paket kaybı senaryosu sırasında kaynakların dayanıklılığına bakmıştır. Paket kaybı ağ hızlarının düşmesine neden olabilir, darboğazlara yol açabilir, ağ aktarım hızı bant genişliğinizi kesintiye uğratabilir ve masraflı olabilir. Paket kaybı, farklı nedenlerden dolayı görülebilir ve bu nedenlerin çoğu kasıtlı değildir. Bu nedenler arasında ağ yoğunluğu, özellikle mobil ağların güvenilir olmaması, yazılım hataları ve aşırı yüklenen cihazlar sayılabilir.

%25’lik bir paket kaybına yer verilen testlerde Zoom, paket kaybı ve sınırlanmış ağ koşulları altında bant genişliğinin korunması ve CPU ve bellek kullanımının düşük tutulması bakımından iyi bir performans sergilemiştir. Zoom, akıllı bir yönetim sunar ve çağrı kalitesini sürdürürken kaynakların korunmasını sağlar.

Diğer taraftan, testlerde Agora’nın paket kaybına yönelik olarak farklı bir yaklaşıma sahip olduğu ve paket kaybının üstesinden gelmek için yüksek miktarda bant genişliği harcadığı görülmüştür. Paket kaybının bit hızı nedeniyle yaşandığı durumlarda, daha fazla bant genişliği harcamaya çalışmak bazı sorunlara yol açabilir.

%25’lik paket kaybında ses kalitesi karşılaştırıldığında, Zoom ve Agora uygulamalarının 4,00 MOS üzeri değerlerle ses kalitesini başarılı bir şekilde ele aldığı görülmüştür. Ancak Twilio’nun ses kalitesinin kullanılamaz olduğu ve Chime’ın kalitesinin 3,00 MOS altında düzeylerle kullanılamaza yakın olduğu görülmüştür.

%25’lik paket kaybında yaşanan ses gecikmesine bakıldığında, paket kaybını telafi etmek için 200-250 ms ile daha fazla artışa sahip olan Agora’ya kıyasla Zoom yaklaşık 100 ms artmıştır.

Ağ Bit Hızı karşılaştırması sırasında, hem Twilio hem de Chime uygulamalarının istikrarsız olduğu ve varsayılan olarak çok düşük bit hızlarına geçtiği görülmüştür. Buna karşılık, Agora’nın bit hızının çok yüksek olduğu ve dolayısıyla ürünün yoğun bir ağı paket kaybının nedeni olarak görmediği ortaya konmuştur.

CPU kullanımı söz konusu olduğunda, tüm test senaryolarında diğer dört tedarikçiye kıyasla en az CPU miktarını Zoom kullanmıştır.

En düşük RAM kullanımı da yine Zoom için gözlenmiştir. Aşağıdaki tabloda gösterildiği gibi, Twilio ve Chime uygulamalarının ikisi de %25’lik bir paket kaybı sırasında yaklaşık 500 MB RAM kullanırken Agora da görüntülü aramalarda 3 GB+ kullanmıştır.

Daha düşük CPU ve RAM kullanımının faydaları arasında şunlar sayılabilir:

Daha düşük bir CPU ve RAM kullanımı gerçek zamanlı A/V’nin video oyunları ve CAD ve 3D tasarım gibi grafik iş birliği uygulamaları gibi kaynak tüketimi yüksek diğer uygulamalar gömülmesi için en uygun kullanım durumudur.

TestDevLab, kullanıcı sayısına göre CPU kullanımına, zaman içinde CPU kullanımına ve zaman içinde bellek kullanımına da bakmıştır. Testler sırasında elde edilen sonuçlar, Zoom Video SDK’sının düşük CPU kullandığını göstermiştir. Yukarıda da belirtildiği gibi, düşük CPU kullanımı daha iyi bir kullanıcı deneyimi sunulmasını, daha fazla kaynağın kullanılabilir olması sayesinde uygulamanın daha iyi performans göstermesini ve uygulamanın fazla pil harcadığı konusunda daha az şikayet alınmasını sağlayabilir.

Aynı testler sırasında, Agora 32 kareli bir galeri görünümünü barındıramamıştır. Ayrıca, Vonage TokBox sürekli olarak diğer satıcılardan daha fazla CPU kullanmıştır.

Zoom Video SDK’sı; bant genişliği, CPU ve RAM gibi kısıtlı kaynakların bulunduğu senaryolar da dahil tüm ağ senaryoları için iyi bir seçenektir.

TestDevLab tarafından yapılan testler, her senaryo için birden fazla kez yapılmıştır ve her seferinde istikrarlı sonuçlar elde edilmiştir. Zoom Video SDK’sı, aşağıdaki özellikleri sayesinde öne çıkmıştır:

Gelişiminizi hızlandırmak ve tamamen özelleştirilebilir video tabanlı uygulamalar oluşturmak için neler yapabileceğinizi öğrenmek için bu siteyi ziyaret edin.

Test Ortamı

Zoom Video SDK’sını ve Agora, Vonage TokBox, Chime ve Twilio tarafından sunulan Video SDK’larını içeren Video SDK’ları önceden tanımlanmış senaryolar kapsamında test edilmiştir.

TestDevLab, beş tedarikçinin her birini iki farklı miktarda katılımcının yer aldığı ve dört farklı ağ sınırlamasının (sınırlamasız, göndericiye uygulanan sınırlama, alıcıya uygulanan sınırlama ve %25 paket kaybı) uygulandığı üç farklı test türü yoluyla test etmiştir. TestDevLab farklı zamanlarda gerçekleştirilen dört sefere bölünen toplam sekiz test gerçekleştirmiştir. TestDevLab, daha sonra, bu testler arasından en istikrarlı davranışların gözlendiği beş testi alarak analiz yapmış ve sonuçlar elde etmiştir.

CPU ve RAM kullanımını farklı yük düzeyleri altında test etmek isteyen TestDevLab, toplam 48 kullanıcının yer aldığı bir aramayla başlatılan bir yük testi gerçekleştirmiştir. Video akışı sürerken, TestDevLab tablodaki kullanıcı sayısını 60 saniyede bir değiştirerek 32, 16, 8*, 4, ve 2 kullanıcılı senaryoları test etmiştir.

Performans testleri için, TestDevLab platformu şu şekilde yapılandırılmıştır:

TestDevLab performans analizleri için görüntülü arama, dinamik ekran paylaşımı ve statik ekran paylaşımı test senaryolarını gerçekleştirmiştir. Her senaryo, farklı sayıda katılımcıyla beş kez test edilmiştir. Aşağıdaki süreç izlenmiştir:

* TestDevLab testlerinin tasarımında, 8 katılımcılı bir galeri testine de yer verilmiştir. Ancak bu testin uygulanmasında yanlış bir çözünürlük kullanıldığı için bu testle elde edilen sonuçlar analizlere ve rapora dahil edilmemiştir.