Laporan Performa SDK Video Zoom

Ikhtisar

TestDevLab — jaminan kualitas perangkat lunak dan penyedia pengembangan alat pengujian kustom — melakukan analisis terhadap SDK Zoom Video dan empat vendor Video SDK lainnya: Agora, Vonage TokBox, Chime, dan Twilio. Tujuannya adalah untuk memahami perilaku setiap platform dan kualitas yang dihasilkan dari setiap Video SDK. Analisis ini ditugaskan oleh Zoom Video Communications, Inc. Temuan yang diberikan dalam laporan ini mencerminkan hasil pengujian TestDevLab mulai 12 Mei 2022.

Laporan ini pertama-tama menjelaskan pertimbangan saat menilai kualitas Video SDK. Kemudian, analisis hasil disajikan, khususnya melihat kualitas performa, kegigihan bandwidth, dan menjaga penggunaan central processing unit (CPU) dan random-access memory (RAM) tetap rendah selama kehilangan paket sebesar 25%. Detail mengenai lingkungan pengujian disediakan dalam lampiran.

Dirancang agar mudah digunakan, ringan, dan sangat dapat disesuaikan, Zoom telah berupaya keras untuk memberikan kualitas keseluruhan Video SDK-nya. Meski dalam skenario jaringan yang buruk, kasus penggunaan seluler, dan lokasi simulasi pedesaan atau terpencil, hasil pengujian SDK Video Zoom sangat kuat.

TestDevLab juga menjalankan pengujian untuk melihat bagaimana Video SDK menangani sumber daya terbatas seperti bandwidth, CPU, dan RAM. SDK Video Zoom terus menjaga performa baiknya.

TestDevLab membantu startup dan perusahaan Fortune 500 di seluruh dunia mempercepat siklus rilis, meningkatkan kualitas produk, dan meningkatkan pengalaman pengguna. Sebagai bagian dari layanan dan solusinya, TestDevLab menawarkan pengujian dan pembandingan kualitas audio/video yang inovatif, pengujian fungsional, regresi, keamanan, dan integrasi serta layanan otomatisasi pengujian untuk SDK, mengikuti praktik terbaik dan menggunakan alat pengujian standar industri dan solusi pengujian kustom.

Saat menilai kualitas Video SDK, ada banyak aspek berbeda yang perlu dipertimbangkan, termasuk:

Perangkat Pengguna: Cakupan TestDevLab adalah untuk menguji perangkat yang sama pada semua SDK guna memastikan bahwa perangkat tersebut dapat dibandingkan.

Batasan Jaringan: Untuk melakukan analisis komparatif, kondisi jaringan harus dapat dikontrol. TestDevLab berfokus pada empat batasan jaringan termasuk bandwidth terbatas dan tanpa batas yang diterapkan pada pengirim, bandwidth terbatas pada penerima, dan kehilangan paket 25% acak. Setiap perangkat terhubung ke router yang berbeda untuk memastikan koneksi yang berkualitas.

Prediktabilitas & Pengulangan: TestDevLab menjalankan delapan pengujian yang dibagi menjadi uji coba yang berisi empat pengujian. Setiap pengujian dilakukan pada waktu yang berbeda untuk mengurangi dampak dari potensi kemacetan jaringan global/perlambatan layanan yang tidak terduga, dll. Dari pengujian tersebut, TestDevLab mengambil lima pengujian dengan perilaku paling stabil secara keseluruhan.

Analisis: Untuk menganalisis hasilnya, TestDevLab menjalankan validasi dalam proses. Mereka melihat hasil dari waktu ke waktu untuk semua pengujian serta video pemeriksaan spot untuk mengonfirmasi validitas data dibandingkan dengan tampilan subjektif.

TestDevLab melakukan pengujian untuk setiap skenario beberapa kali. Dalam setiap pengujian dan untuk semua vendor, TestDevLab melihat hasil yang stabil di seluruh skenario yang sama ketika dijalankan beberapa kali. Saat menganalisis hasilnya, TestDevLab melihat:

Kualitas Performa. TestDevLab menganalisis kualitas penundaan audio dan penundaan video dalam berbagai kondisi jaringan. Mereka juga melihat perbandingan laju frame, frame per detik (FPS), dan Video Multimethod Assessment Fusion (VMAF).

Manajemen Sumber Daya Dalam Kondisi Jaringan yang Tidak Ideal. TestDevLab melihat bagaimana vendor mengelola sumber daya di bawah situasi kehilangan paket.

Penggunaan CPU/RAM. TestDevLab melihat bagaimana vendor mengonsumsi sumber daya saat aplikasi berada di bawah tekanan, misalnya banyak video peserta dirender dalam tampilan galeri.

Kualitas performa penting di berbagai kondisi jaringan. TestDevLab menguji penundaan audio, penundaan video, dan laju frame dengan jaringan tanpa batas.

Pengujian penundaan audio di seluruh vendor menemukan bahwa ada penundaan yang sebanding di seluruh papan, dengan pengecualian Chime yang dilakukan dengan penundaan yang sedikit lebih lama.

Saat membandingkan penundaan video, Zoom, Agora, Twilio, dan Chime memiliki penundaan video sebagian besar di bawah 250 md. Namun, Vonage TokBox memiliki penundaan video mulai dari 250 md hingga 1.000 md.

Dalam membandingkan laju frame, pengujian menemukan bahwa Zoom memiliki laju frame tertinggi pada panggilan video.

Hasilnya juga menunjukkan bahwa Zoom memiliki kualitas video yang paling konsisten di semua kondisi jaringan yang diuji. Pengujian dimulai tanpa batasan bandwidth, kemudian batasan bandwidth rendah diterapkan secara merata untuk semua vendor, pertama di sisi pengiriman, lalu diterapkan di sisi penerima.

Selanjutnya, TestDevLab melihat kegigihan sumber selama skenario kehilangan paket sebesar 25%. Kehilangan paket dapat memperlambat kecepatan jaringan, menyebabkan kemacetan, mengganggu bandwidth throughput jaringan Anda, dan biayanya bisa mahal. Kehilangan paket dapat disebabkan karena berbagai alasan, dan banyak di antaranya tidak disengaja. Kemacetan jaringan, jaringan yang tidak dapat diandalkan, terutama seluler, bug perangkat lunak, dan perangkat yang kelebihan beban adalah beberapa contohnya.

Dalam pengujian, yang mencakup kehilangan paket sebesar 25%, Zoom memiliki performa baik dalam menjaga bandwidth, serta menjaga penggunaan CPU dan memori tetap rendah dalam kehilangan paket dan kondisi jaringan yang dibatasi. Zoom menyediakan manajemen yang cerdas dan konservatif sambil mempertahankan kualitas panggilan.

Di sisi lain, pengujian menunjukkan bahwa Agora tampaknya memiliki pendekatan yang berbeda untuk kehilangan paket – yang menghabiskan banyak bandwidth untuk mencoba dan menangani kehilangan paket. Jika laju bit yang terbatas adalah penyebab kehilangan paket, mencoba mengonsumsi lebih banyak bandwidth dapat menyebabkan masalah.

Dalam membandingkan kualitas audio selama kehilangan paket sebesar 25%, Zoom dan Agora menangani kualitas audio dengan baik, dengan tingkat di atas 4,00 MOS. Namun, kualitas audio Twilio tidak dapat digunakan dan kualitas Chime hampir tidak dapat digunakan, dengan tingkat di bawah 3,00 MOS.

Ketika melihat penundaan audio selama kehilangan paket sebesar 25%, Zoom meningkat sekitar 100 md dibandingkan dengan Agora, yang memiliki peningkatan yang lebih signifikan dari 200 – 250 md untuk menangani kehilangan paket.

Selama perbandingan Laju Bit Jaringan, pengujian menunjukkan bahwa Twilio dan Chime tidak stabil dan diatur ke pengaturan default ke laju bit yang sangat rendah. Di sisi lain, laju bit Agora sangat tinggi menunjukkan bahwa produk mungkin tidak memperhitungkan jaringan yang padat ketika mengatribusikan penyebab kehilangan paket.

Sejauh penggunaan CPU, Zoom menggunakan jumlah CPU paling sedikit dibandingkan dengan empat vendor lain di seluruh skenario pengujian.

Zoom juga memiliki penggunaan RAM terendah. Seperti yang ditunjukkan pada diagram di bawah ini, Twilio dan Chime menggunakan RAM sekitar 500 MB selama kehilangan paket sebesar 25%, dan Agora menggunakan 3 GB+ pada panggilan video.

Manfaat penggunaan CPU dan RAM yang lebih rendah meliputi:

Penggunaan CPU dan RAM yang lebih rendah adalah kasus penggunaan sempurna dari A/V real-time yang disematkan ke dalam aplikasi yang mengonsumsi sumber daya secara berat lainnya seperti video game, dan aplikasi kolaborasi grafis seperti desain 3D dan CAD.

TestDevLab memeriksa penggunaan CPU per jumlah pengguna, penggunaan CPU dari waktu ke waktu, dan penggunaan memori dari waktu ke waktu. Selama pengujian, hasilnya menunjukkan bahwa SDK Video Zoom menggunakan CPU rendah. Seperti disebutkan di atas, penggunaan CPU yang lebih rendah dapat diterjemahkan menjadi pengalaman pengguna yang baik, performa aplikasi yang lebih baik dengan lebih banyak sumber daya yang tersedia, dan lebih sedikit keluhan aplikasi yang mengonsumsi banyak baterai.

Selama pengujian yang sama, Agora tidak dapat menghosting tampilan galeri 32-grid. Selain itu, Vonage TokBox secara konsisten menggunakan lebih banyak CPU daripada vendor lain.

SDK Video Zoom adalah opsi yang baik untuk semua skenario jaringan, termasuk yang memiliki sumber daya terbatas seperti bandwidth, CPU, dan RAM.

Pengujian TestDevLab dilakukan untuk setiap skenario beberapa kali dan hasilnya tetap konsisten. SDK Video Zoom menonjol sebagai hasil dari:

Pelajari cara mempercepat pengembangan Anda dan membangun aplikasi berbasis video yang sepenuhnya dapat disesuaikan dengan mengunjungi situs ini.

Lingkungan Pengujian

Video SDK, termasuk SDK Video Zoom, dan yang berasal dari Agora, Vonage TokBox, Chime, dan Twilio, diuji dalam serangkaian skenario yang telah ditentukan sebelumnya.

TestDevLab menguji kelima vendor, lebih dari tiga jenis pengujian, dengan dua jumlah peserta yang berbeda dan empat batasan jaringan yang berbeda termasuk batasan tanpa batas dan diterapkan pada pengirim, batasan yang diterapkan pada penerima, dan kehilangan paket sebesar 25%. TestDevLab menjalankan delapan pengujian yang dibagi menjadi empat uji coba yang dilakukan pada waktu yang berbeda. Selanjutnya, TestDevLab mengambil lima pengujian dengan perilaku paling stabil untuk menghasilkan analisis dan hasil.

Untuk menguji penggunaan CPU dan RAM di bawah tingkat beban yang berbeda, TestDevLab membuat pengujian stres yang dimulai dengan total 48 pengguna dalam panggilan. Saat video sedang di-streaming, TestDevLab mengalihkan jumlah pengguna di grid setiap 60 detik, untuk menguji skenario pengguna 32, 16, 8*, 4, dan 2.

Untuk pengujian performa, platform TestDevLab dikonfigurasi dengan cara berikut:

TestDevLab melakukan panggilan video, berbagi layar dinamis, dan skenario pengujian berbagi layar statis untuk analisis performa. Setiap skenario diuji lima kali dengan jumlah peserta yang berbeda. Proses berikut diterapkan:

* Desain pengujian TestDevLab juga menyertakan pengujian galeri yang berisi 8 peserta, namun, pelaksanaan pengujian ini menggunakan resolusi yang salah dan hasil tersebut tidak termasuk dalam analisis dan laporan.