Virtualisasi GPU (vGPU): Cara Kerja, Metode, dan Batasannya

Sebuah perusahaan mempunyai server dengan GPU berperforma tinggi untuk menjalankan aplikasi desain 3D, rendering, dan pengembangan AI. Namun, tidak semua aplikasi menggunakan seluruh kapasitas GPU sepanjang waktu. Sebagian resource komputasi akhirnya tidak dimanfaatkan secara optimal, sementara tim lain masih membutuhkan akses GPU untuk menjalankan pekerjaannya.

Virtualisasi GPU menjadi salah satu pendekatan untuk mengatasi kondisi tersebut. Teknologi ini memungkinkan infrastruktur membagikan atau mengalokasikan kemampuan GPU fisik kepada beberapa lingkungan virtual, dengan metode pembagian resource yang bergantung pada hardware dan software yang digunakan.

Virtualisasi GPU atau Virtual GPU (vGPU) membantu organisasi memanfaatkan kapasitas GPU untuk beberapa workload tanpa selalu menyediakan satu GPU fisik untuk setiap virtual machine. Namun, pembagian resource tidak otomatis meningkatkan performa karena beberapa aplikasi tetap harus menggunakan kapasitas komputasi dari perangkat yang sama.

Artikel ini akan membahas pengertian virtualisasi GPU, cara kerja, perbedaan GPU passthrough dan vGPU, teknologi time-slicing serta Multi-Instance GPU (MIG), hingga cara mengevaluasi performa dan batasan implementasinya.

Apa Itu Virtualisasi GPU?

Virtualisasi GPU adalah teknologi yang memungkinkan kemampuan Graphics Processing Unit (GPU) diakses oleh lingkungan komputasi virtual melalui mekanisme alokasi atau pembagian resource tertentu.

Pada server konvensional, sebuah aplikasi dapat mengakses GPU secara langsung melalui sistem operasi yang berjalan pada hardware fisik. Sementara itu, lingkungan virtualisasi membutuhkan mekanisme tambahan agar virtual machine (VM) dapat menggunakan GPU yang berada pada server host.

Teknologi seperti NVIDIA vGPU memungkinkan beberapa VM menggunakan satu perangkat GPU fisik melalui mekanisme pengelolaan resource yang didukung hardware, driver, dan hypervisor.

Sebagai contoh, sebuah perusahaan mempunyai tiga tim desain yang membutuhkan akselerasi grafis untuk menjalankan aplikasi profesional. Setiap tim menggunakan virtual workstation sehingga pekerjaan dapat diakses dari perangkat masing-masing tanpa harus menyediakan GPU workstation fisik pada setiap komputer.

Dengan virtualisasi GPU yang kompatibel, administrator dapat mengalokasikan resource GPU kepada beberapa workstation virtual tersebut. Namun, jumlah pengguna dan performa yang diperoleh tetap dibatasi kemampuan GPU fisik serta konfigurasi pembagiannya.

Menurut dokumentasi resmi NVIDIA Virtual GPU, software vGPU memungkinkan beberapa virtual machine memperoleh akses akselerasi GPU melalui lingkungan virtualisasi yang didukung.

Apakah Virtualisasi GPU Sama dengan Virtual Machine?

Virtualisasi GPU dan virtual machine mempunyai hubungan erat, tetapi keduanya menangani resource yang berbeda.

Virtual machine merupakan lingkungan komputasi yang memungkinkan sistem operasi dan aplikasi berjalan secara terpisah pada server fisik yang sama. Teknologi hypervisor digunakan untuk mengelola pembagian resource seperti CPU, RAM, storage, dan perangkat lainnya.

Sementara itu, virtualisasi GPU berfokus pada bagaimana kemampuan GPU fisik dapat digunakan oleh lingkungan virtual tersebut.

Sebagai contoh, sebuah VM dapat berjalan menggunakan CPU dan RAM virtual tanpa mempunyai akses akselerasi GPU. Agar VM memperoleh kemampuan komputasi GPU, administrator perlu menyediakan mekanisme GPU passthrough, vGPU, atau GPU partitioning yang kompatibel.

Kamu dapat mempelajari konsep dasarnya melalui artikel apa itu virtual machine dan cara kerjanya sebelum melanjutkan pembahasan arsitektur GPU.

Bagaimana Cara Kerja Virtualisasi GPU?

Virtualisasi GPU melibatkan beberapa komponen yang bekerja bersama, mulai dari GPU fisik, hypervisor, software pengelola GPU, hingga driver pada sistem operasi virtual.

Setiap komponen mempunyai peran berbeda agar aplikasi dapat menjalankan operasi grafis atau komputasi menggunakan resource GPU yang dialokasikan.

1. GPU Fisik Menyediakan Kapasitas Komputasi

Server host mempunyai satu atau beberapa perangkat GPU yang menyediakan kemampuan pemrosesan.

Setiap GPU mempunyai karakteristik hardware tertentu, seperti kapasitas VRAM, unit komputasi, memory bandwidth, dan kemampuan akselerasi yang didukung.

Resource fisik tersebut menjadi batas kapasitas yang tersedia untuk lingkungan virtual. Virtualisasi tidak menambahkan kemampuan komputasi baru, tetapi mengatur bagaimana resource yang tersedia dapat digunakan.

2. Hypervisor Mengelola Lingkungan Virtual

Hypervisor merupakan lapisan software yang memungkinkan beberapa virtual machine berjalan pada server fisik.

Teknologi seperti KVM, VMware ESXi, dan Microsoft Hyper-V menyediakan mekanisme pengelolaan VM, tetapi kemampuan virtualisasi GPU yang tersedia dapat berbeda berdasarkan versi software, perangkat GPU, serta dukungan vendor.

Pada lingkungan yang kompatibel, hypervisor bekerja bersama driver atau software pengelola GPU untuk memberikan akses perangkat kepada virtual machine.

Jika kamu belum memahami hubungan antara server fisik dan hypervisor, artikel virtualisasi KVM, Xen, dan OpenVZ memberikan konteks mengenai pengelolaan resource server.

3. GPU Virtual Dialokasikan kepada VM

Setelah infrastruktur siap, administrator menentukan cara GPU diberikan kepada lingkungan virtual.

Pada GPU passthrough, satu GPU fisik dialokasikan secara eksklusif kepada sebuah VM. Sementara itu, teknologi vGPU dapat memungkinkan beberapa VM berbagi perangkat GPU melalui mekanisme penjadwalan atau partisi hardware tertentu.

Konfigurasi tersebut biasanya menggunakan profil GPU yang menentukan kapasitas atau karakteristik resource yang diterima VM.

Namun, profil yang tersedia tidak selalu dapat dibuat dengan ukuran bebas karena penyedia hardware dan software menentukan konfigurasi yang didukung.

4. Driver Menghubungkan Aplikasi dengan GPU

Virtual machine membutuhkan driver yang kompatibel agar sistem operasi dan aplikasi dapat menggunakan akselerasi GPU.

Pada NVIDIA vGPU, software pengelola GPU berjalan pada sisi host, sedangkan guest driver dipasang pada sistem operasi VM.

Ketika aplikasi menjalankan operasi grafis atau komputasi, driver meneruskan pekerjaan tersebut melalui mekanisme virtualisasi yang tersedia.

Sebagai contoh, aplikasi berbasis CUDA dapat menggunakan kemampuan GPU apabila hardware, profil vGPU, software, dan lisensinya mendukung workload komputasi tersebut.

5. Sistem Mengatur Penggunaan Resource GPU

Setelah beberapa VM menggunakan GPU yang sama, infrastruktur harus mengelola alokasi pekerjaan agar setiap lingkungan memperoleh akses sesuai konfigurasi.

Pada metode time-slicing, scheduler membagi waktu akses GPU untuk beberapa VM. Sementara itu, metode partisi hardware tertentu menyediakan resource komputasi dan memori yang lebih terisolasi.

Perbedaan mekanisme ini memengaruhi konsistensi performa ketika beberapa aplikasi menggunakan resource secara bersamaan.

Karena itu, pemilihan metode virtualisasi perlu mempertimbangkan pola penggunaan GPU, jumlah VM, dan kebutuhan isolasi workload.

Metode Virtualisasi GPU dan Perbedaannya

Terdapat beberapa pendekatan untuk menyediakan akses GPU pada lingkungan virtual. Masing-masing metode mempunyai karakteristik alokasi resource dan kemampuan isolasi yang berbeda.

Empat pendekatan berikut sering muncul dalam implementasi virtualisasi GPU modern.

1. GPU Passthrough: Satu GPU untuk Satu VM

GPU passthrough memungkinkan sebuah virtual machine menggunakan GPU fisik yang dialokasikan secara eksklusif melalui hypervisor.

Pada lingkungan ini, VM memperoleh akses terhadap perangkat GPU yang diberikan kepadanya, bukan berbagi perangkat tersebut melalui mekanisme vGPU time-slicing.

Sebagai contoh, sebuah server mempunyai dua GPU fisik. Administrator dapat memberikan GPU pertama kepada VM untuk rendering, sedangkan GPU kedua dialokasikan kepada VM yang menjalankan aplikasi AI.

Pendekatan tersebut cocok ketika aplikasi membutuhkan akses GPU dengan alokasi eksklusif dan kompatibilitas perangkat yang sesuai.

Namun, penggunaan passthrough mempunyai konsekuensi terhadap fleksibilitas pembagian resource. Ketika sebuah GPU sudah dialokasikan kepada satu VM, GPU tersebut umumnya tidak dapat digunakan oleh VM lain secara bersamaan melalui passthrough yang sama.

Pada Microsoft Hyper-V, teknologi yang sepadan dikenal sebagai Discrete Device Assignment (DDA). Microsoft menjelaskan perbedaan DDA dan GPU Partitioning dalam dokumentasi GPU acceleration Windows Server.

2. Time-Sliced vGPU: Berbagi GPU Berdasarkan Waktu

Time-sliced vGPU memungkinkan beberapa virtual machine menggunakan GPU fisik yang sama melalui pembagian waktu pemrosesan.

Pada pendekatan ini, scheduler mengatur giliran penggunaan unit komputasi GPU untuk workload dari VM yang berbeda.

Bayangkan tiga virtual workstation menggunakan satu GPU fisik untuk menjalankan aplikasi desain. Ketika sebuah workstation memerlukan pemrosesan grafis, sistem menyediakan waktu penggunaan GPU sesuai mekanisme penjadwalan.

Setelah interval tersebut selesai, scheduler dapat memberikan kesempatan kepada workload dari VM lain untuk menggunakan perangkat yang sama.

Walaupun setiap VM mempunyai alokasi memori sesuai profilnya, unit komputasi GPU tetap digunakan secara bergantian.

Metode ini dapat membantu meningkatkan pemanfaatan GPU ketika beban kerja setiap VM tidak selalu tinggi secara bersamaan.

Namun, jika seluruh VM menjalankan aplikasi berat pada waktu yang sama, persaingan resource dapat meningkatkan latensi atau menurunkan throughput setiap workload.

Dokumentasi NVIDIA vGPU Features menjelaskan bahwa performa time-sliced vGPU dapat dipengaruhi overhead penjadwalan, terutama pada lingkungan dengan banyak VM yang menjalankan workload intensif.

3. Multi-Instance GPU (MIG): Partisi Hardware yang Lebih Terisolasi

Multi-Instance GPU atau MIG merupakan teknologi NVIDIA yang memungkinkan GPU tertentu dibagi menjadi beberapa GPU instance dengan alokasi resource hardware yang lebih terisolasi.

Berbeda dari time-slicing biasa, MIG menyediakan mekanisme partisi yang memisahkan sebagian resource komputasi dan jalur memori pada GPU yang mendukung teknologi tersebut.

Sebagai contoh, administrator dapat membuat beberapa GPU instance pada perangkat yang kompatibel untuk menjalankan workload inferensi AI secara paralel.

Setiap instance memperoleh bagian resource sesuai profil yang didukung hardware.

Pendekatan tersebut dapat membantu meningkatkan konsistensi performa ketika beberapa workload berjalan bersamaan karena setiap partisi memiliki alokasi resource yang lebih terdefinisi.

Namun, MIG tidak didukung oleh semua GPU NVIDIA.

Dokumentasi resmi NVIDIA mencantumkan dukungan MIG pada perangkat tertentu, seperti A100, A30, H100, H200, serta beberapa GPU generasi Blackwell.

Selain itu, MIG tidak identik dengan NVIDIA vGPU karena instance MIG dapat digunakan dalam lingkungan bare-metal, container, maupun virtualisasi yang kompatibel.

Untuk memahami mekanismenya, kamu dapat membaca NVIDIA Multi-Instance GPU User Guide.

4. MIG-Backed vGPU dan GPU Partitioning

MIG-backed vGPU merupakan implementasi yang menggabungkan kemampuan partisi hardware MIG dengan software virtualisasi GPU yang kompatibel.

Pada konfigurasi tertentu, satu VM dapat memperoleh akses eksklusif terhadap sebuah MIG instance. Implementasi lain dapat menggunakan mekanisme time-slicing di dalam partisi MIG apabila hardware dan software mendukungnya.

Pendekatan tersebut memungkinkan pembagian resource dengan karakteristik isolasi yang berbeda dari time-sliced vGPU pada GPU yang tidak dipartisi.

Sementara itu, Microsoft juga menyediakan teknologi GPU Partitioning atau GPU-P pada Windows Server 2025.

Teknologi tersebut menggunakan mekanisme partisi GPU untuk memberikan sebagian resource perangkat kepada beberapa virtual machine yang kompatibel.

Namun, GPU-P, NVIDIA vGPU, dan MIG tidak boleh dianggap sebagai implementasi yang identik. Masing-masing mempunyai persyaratan hardware, driver, serta dukungan platform yang berbeda.

Tabel Perbandingan Metode Virtualisasi GPU

Agar lebih mudah memahami perbedaannya, berikut ringkasan karakteristik setiap pendekatan.

Metode	Alokasi GPU	Penggunaan utama	Pertimbangan
GPU passthrough	Satu GPU fisik untuk satu VM	Workload dengan kebutuhan akses GPU eksklusif	Fleksibilitas berbagi GPU terbatas
Time-sliced vGPU	Beberapa VM berbagi waktu komputasi GPU	Virtual workstation, VDI, dan workload bergantian	Resource contention dan overhead scheduling
MIG	GPU dibagi menjadi partisi hardware	Inferensi paralel dan workload yang memerlukan isolasi resource	Hanya tersedia pada GPU tertentu
MIG-backed vGPU	Partisi MIG diberikan melalui lingkungan vGPU	Beberapa VM dengan kebutuhan isolasi GPU	Kompatibilitas hardware, hypervisor, dan lisensi
GPU-P	GPU dibagi melalui mekanisme partitioning platform	VDI, aplikasi virtual, dan inferensi tertentu	Bergantung dukungan platform dan driver

Catatan: Tabel ini menjelaskan karakteristik umum metode virtualisasi, bukan jaminan bahwa semua GPU dan hypervisor menyediakan fitur tersebut.

Perbedaan Virtual GPU, GPU Fisik, dan Cloud GPU

Ketiga istilah tersebut sering digunakan dalam pembahasan infrastruktur komputasi, tetapi sebenarnya menjelaskan aspek yang berbeda.

GPU fisik merupakan perangkat hardware yang menyediakan kemampuan komputasi. Virtual GPU menjelaskan akses atau alokasi kemampuan GPU melalui mekanisme virtualisasi.

Sementara itu, Cloud GPU merupakan model layanan yang memungkinkan pengguna mengakses GPU melalui infrastruktur cloud.

Sebuah layanan Cloud GPU dapat menggunakan GPU passthrough, vGPU, atau konfigurasi lain sesuai arsitektur yang digunakan penyedia.

Dengan demikian, tidak semua Cloud GPU menggunakan resource GPU yang dibagi kepada beberapa pengguna.

Perbedaan tersebut penting ketika kamu ingin membandingkan kapasitas dan performa, karena istilah Cloud GPU saja belum menjelaskan apakah pengguna memperoleh seluruh perangkat fisik atau hanya sebagian resource.

Pembahasan mengenai pemilihan layanan, model pembayaran, dan spesifikasi cloud dapat kamu pelajari lebih jauh melalui artikel Cloud GPU: Pengertian, Cara Kerja, dan Tips Memilih.

Kapan Virtualisasi GPU Dibutuhkan?

Virtualisasi GPU tidak selalu menjadi pilihan terbaik untuk setiap aplikasi. Teknologi ini lebih relevan ketika organisasi perlu membagi kapasitas GPU, mengelola beberapa lingkungan komputasi, atau menyediakan akses akselerasi secara terpusat.

1. Virtual Desktop Infrastructure (VDI)

Perusahaan yang mempunyai banyak pengguna aplikasi grafis dapat menggunakan VDI untuk menyediakan desktop virtual dari infrastruktur server.

Sebagai contoh, tim desain arsitektur membutuhkan aplikasi visualisasi 3D yang berjalan pada workstation berperforma tinggi.

Dengan lingkungan VDI dan virtualisasi GPU yang sesuai, setiap pengguna dapat mengakses workstation virtual melalui perangkat yang terhubung ke jaringan.

Namun, kualitas pengalaman pengguna tetap dipengaruhi resource GPU, performa server, jaringan, dan sistem remote display yang digunakan.

2. Virtual Workstation untuk Desain dan Rendering

Tim engineering atau desain produk dapat menggunakan workstation virtual untuk menjalankan aplikasi CAD, pemodelan 3D, dan visualisasi teknis.

Pendekatan ini memungkinkan administrator mengelola lingkungan kerja secara terpusat dan memberikan akses kepada pengguna sesuai kebutuhan.

Namun, aplikasi profesional dapat mempunyai persyaratan kompatibilitas driver, sertifikasi hardware, dan dukungan software tertentu.

Karena itu, administrator perlu memastikan bahwa aplikasi yang digunakan mendukung konfigurasi virtual GPU sebelum menjalankan deployment produksi.

3. AI Inference dengan Beberapa Model Ringan

Virtualisasi GPU juga dapat digunakan ketika organisasi menjalankan beberapa workload AI yang tidak membutuhkan seluruh kapasitas GPU secara terus-menerus.

Misalnya, perusahaan mempunyai beberapa aplikasi klasifikasi gambar dengan model yang relatif kecil. Masing-masing aplikasi menerima permintaan pada waktu berbeda sehingga penggunaan GPU tidak selalu mencapai kapasitas maksimum.

Pada kondisi tersebut, pembagian resource GPU dapat membantu mengurangi kapasitas hardware yang menganggur.

Namun, administrator perlu memeriksa kapasitas memori yang dialokasikan, penggunaan komputasi, serta target latensi masing-masing aplikasi.

Jika seluruh aplikasi memerlukan throughput tinggi secara bersamaan, pembagian satu GPU justru dapat menimbulkan persaingan resource yang mengganggu performa.

Untuk memahami konteks komputasinya, artikel pelatihan model AI dapat membantu membedakan kebutuhan training dengan proses penggunaan model setelah dilatih.

4. Pengujian Aplikasi pada Beberapa VM

Developer dapat menggunakan virtualisasi GPU untuk menyiapkan beberapa lingkungan pengujian yang membutuhkan akselerasi grafis atau komputasi.

Sebagai contoh, tim QA ingin memeriksa kompatibilitas aplikasi pada beberapa versi sistem operasi tanpa menyediakan workstation fisik untuk setiap lingkungan.

Administrator dapat membuat VM dengan profil GPU yang sesuai untuk menguji aplikasi pada konfigurasi tertentu.

Namun, hasil pengujian perlu ditafsirkan berdasarkan lingkungan virtualisasi yang digunakan karena performa aplikasi dapat berbeda dari komputer fisik.

Kebutuhan Hardware dan Software untuk Virtualisasi GPU

Implementasi virtualisasi GPU tidak cukup dilakukan dengan memasang aplikasi virtualisasi pada server biasa.

Administrator perlu memastikan bahwa perangkat GPU, host, hypervisor, driver, dan software pengelola resource mendukung metode yang dipilih.

1. GPU yang Mendukung Metode Virtualisasi

Tidak semua GPU mendukung fitur virtualisasi yang sama.

Sebagai contoh, NVIDIA L4 tercantum dalam daftar GPU yang mendukung NVIDIA vGPU Software. Namun, dukungan tersebut tidak berarti NVIDIA L4 otomatis menyediakan fitur MIG.

Administrator perlu memeriksa daftar dukungan MIG secara terpisah karena kemampuan partisi hardware tersebut hanya tersedia pada model GPU tertentu.

Selain nama perangkat, periksa juga profil vGPU yang tersedia, kapasitas VRAM, serta dukungan aplikasi komputasi atau grafis.

Daftar kompatibilitas hardware dapat diperiksa melalui NVIDIA vGPU Supported GPUs.

2. Server Host dan Hypervisor yang Kompatibel

Host harus mempunyai kemampuan virtualisasi perangkat yang sesuai dengan metode implementasi.

Pada konfigurasi GPU passthrough, fitur seperti Intel VT-d atau AMD-Vi dapat diperlukan untuk mendukung pemetaan perangkat melalui IOMMU.

Namun, dukungan CPU saja tidak cukup untuk memastikan implementasi berhasil.

Administrator juga perlu memeriksa motherboard, BIOS atau UEFI, hypervisor, perangkat GPU, dan ketentuan dari vendor software.

Misalnya, Microsoft GPU-P pada Windows Server 2025 mempunyai persyaratan GPU dan driver yang sudah ditentukan.

Karena itu, dukungan virtualisasi GPU harus divalidasi sebagai kombinasi hardware dan software, bukan berdasarkan satu komponen server saja.

3. Driver GPU dan Software Pengelola

Software virtualisasi GPU biasanya memerlukan komponen yang berjalan pada host dan driver yang terpasang pada guest VM.

Pada NVIDIA vGPU, administrator perlu menggunakan kombinasi versi vGPU Manager, guest driver, dan hypervisor yang kompatibel.

Perbedaan versi software dapat menyebabkan fitur tertentu tidak tersedia atau menyebabkan VM gagal menggunakan akselerasi GPU.

Sebaiknya administrator mengikuti matriks kompatibilitas resmi sebelum melakukan upgrade driver atau hypervisor pada lingkungan produksi.

4. Lisensi Virtual GPU

Sebagian implementasi virtualisasi GPU membutuhkan lisensi software tambahan.

NVIDIA menyediakan beberapa produk lisensi virtual GPU, termasuk vApps, vPC, dan RTX Virtual Workstation, dengan cakupan fitur yang berbeda.

Misalnya, lingkungan virtual desktop untuk penggunaan kantor dapat mempunyai kebutuhan lisensi berbeda dari virtual workstation yang menjalankan aplikasi grafis profesional.

Karena itu, biaya lisensi perlu dimasukkan dalam perhitungan operasional bersama harga hardware, server, dan software virtualisasi.

Informasi mengenai lisensi dapat diperiksa melalui NVIDIA Virtual GPU Software Licensing Guide.

Kelebihan Virtualisasi GPU

Virtualisasi GPU menawarkan beberapa manfaat ketika organisasi mempunyai workload yang sesuai dengan karakteristik pembagian resource.

Pemanfaatan Hardware yang Lebih Efisien

Virtualisasi memungkinkan beberapa lingkungan menggunakan resource GPU yang sama melalui mekanisme alokasi yang didukung.

Pendekatan tersebut dapat meningkatkan utilisasi GPU ketika masing-masing workload tidak selalu membutuhkan kapasitas komputasi penuh.

Namun, penghematan resource bergantung pada pola penggunaan dan jumlah VM yang dilayani.

Pengelolaan Lingkungan yang Lebih Fleksibel

Administrator dapat mengelola beberapa virtual machine dari infrastruktur terpusat dan mengalokasikan resource sesuai kebutuhan pengguna.

Pendekatan ini memudahkan pengelolaan lingkungan pengembangan, virtual workstation, atau layanan internal yang memerlukan GPU.

Namun, perubahan kapasitas tidak selalu dapat dilakukan secara bebas karena profil GPU dan mekanisme pembagiannya mempunyai batasan teknis.

Mendukung Konsolidasi Workload

Organisasi dapat menggabungkan beberapa workload yang sebelumnya berjalan pada perangkat berbeda ke dalam infrastruktur GPU bersama.

Konsolidasi dapat membantu mengurangi jumlah perangkat yang harus dikelola apabila kapasitas hardware mencukupi.

Namun, administrator tetap perlu mempertimbangkan redundansi karena gangguan pada satu server fisik dapat memengaruhi beberapa VM sekaligus.

Keterbatasan dan Risiko Virtualisasi GPU

Manfaat virtualisasi GPU perlu dibandingkan dengan batasan performa serta kompleksitas operasional yang muncul ketika beberapa workload menggunakan perangkat fisik bersama.

1. Performa Tidak Selalu Setara dengan GPU Eksklusif

Virtualisasi dapat menimbulkan overhead yang berasal dari mekanisme pengelolaan resource dan penjadwalan workload.

Pada time-sliced vGPU, beberapa VM berbagi waktu penggunaan GPU sehingga aktivitas aplikasi lain dapat memengaruhi latensi dan throughput.

Karena itu, GPU yang dibagi kepada beberapa VM tidak otomatis memberikan performa yang sama seperti penggunaan seluruh GPU secara eksklusif.

2. Resource Contention ketika Beban Meningkat

Resource contention terjadi ketika beberapa workload membutuhkan resource yang sama pada waktu bersamaan.

Misalnya, tiga VM menjalankan proses rendering intensif menggunakan satu GPU fisik. Jika seluruh aplikasi meningkatkan penggunaan komputasi secara bersamaan, GPU harus menangani persaingan resource sesuai metode penjadwalannya.

Akibatnya, waktu pemrosesan setiap aplikasi dapat meningkat meskipun konfigurasi VM tidak berubah.

3. Kapasitas VRAM Tetap Terbatas

Virtualisasi GPU tidak meningkatkan kapasitas VRAM fisik yang tersedia pada perangkat.

Sebagai ilustrasi, GPU dengan kapasitas memori 24 GB tidak berubah menjadi GPU dengan total memori 48 GB hanya karena digunakan oleh dua virtual machine.

Alokasi memori pada VM tetap dibatasi kapasitas perangkat dan mekanisme pembagian yang didukung.

Kamu juga perlu memahami bahwa kapasitas VRAM yang diberikan kepada sebuah VM tidak selalu berbanding lurus dengan persentase kemampuan komputasi yang diperolehnya.

4. Kompatibilitas Software dan Lisensi

Implementasi vGPU membutuhkan kombinasi GPU, hypervisor, guest OS, driver, dan software pengelola yang kompatibel.

Pembaruan salah satu komponen dapat memengaruhi kompatibilitas lingkungan apabila versi lainnya belum mendukung perubahan tersebut.

Selain itu, lisensi software juga dapat menjadi komponen biaya tambahan yang perlu diperhitungkan sebelum deployment.

5. Isolasi Resource Tidak Selalu Sama

Metode virtualisasi GPU mempunyai karakteristik isolasi yang berbeda.

Time-sliced vGPU menggunakan mekanisme penjadwalan sehingga beberapa VM tetap berbagi unit komputasi pada GPU fisik yang sama.

MIG menyediakan pemisahan hardware yang lebih kuat pada perangkat kompatibel, termasuk alokasi resource memori tertentu.

Namun, pembagian resource tidak menghilangkan seluruh risiko keamanan atau gangguan operasional. Administrator tetap harus melindungi host, mengatur izin akses, dan menjaga pembaruan software.

Apakah Software Rendering Sama dengan Virtualisasi GPU?

Software rendering sering disebut sebagai alternatif ketika lingkungan virtual tidak mempunyai akses GPU fisik.

Namun, software rendering bukan pengganti virtualisasi GPU berbasis hardware, karena pemrosesan grafis dapat dilakukan menggunakan CPU tanpa menyediakan akselerasi GPU fisik kepada VM.

Sebagai contoh, Mesa menyediakan LLVMpipe yang menjalankan proses rasterisasi grafis menggunakan kemampuan CPU.

Pendekatan tersebut dapat digunakan untuk beberapa kebutuhan pengujian grafis atau aplikasi yang tidak membutuhkan performa GPU tinggi.

Namun, LLVMpipe tidak otomatis membuat CUDA tersedia atau memberikan kemampuan komputasi NVIDIA GPU pada server tanpa perangkat yang kompatibel.

Menurut dokumentasi Mesa LLVMpipe, driver tersebut menggunakan LLVM untuk menjalankan proses rendering melalui kode yang dieksekusi CPU.

Karena itu, software rendering dapat menjadi solusi kompatibilitas pada kondisi tertentu, tetapi tidak tepat diposisikan sebagai pengganti virtual GPU untuk training AI, rendering intensif, atau workload CUDA.

Cara Mengevaluasi Performa Virtual GPU

Pengujian virtualisasi GPU perlu berfokus pada kemampuan setiap VM menjalankan workload secara konsisten, terutama ketika beberapa lingkungan menggunakan GPU fisik yang sama.

Administrator dapat menggunakan pendekatan berikut sebelum menerapkan virtualisasi GPU pada lingkungan produksi.

1. Tentukan Workload dan Target Performa

Mulailah dengan mendefinisikan aplikasi yang akan menggunakan GPU serta hasil yang diharapkan.

Untuk virtual workstation, kamu dapat menggunakan respons aplikasi, frame rate, dan pengalaman pengguna sebagai indikator.

Sementara itu, aplikasi AI inference dapat menggunakan throughput, latensi, penggunaan VRAM, serta jumlah permintaan yang berhasil diproses.

2. Uji Workload pada GPU Eksklusif

Jika memungkinkan, jalankan pengujian awal ketika workload memperoleh akses GPU eksklusif.

Hasil pengujian tersebut dapat digunakan sebagai baseline untuk membandingkan performa setelah resource GPU dibagi.

Namun, baseline harus menggunakan hardware, konfigurasi aplikasi, dan versi software yang sebanding agar hasilnya tetap relevan.

3. Jalankan Beberapa VM Secara Bersamaan

Setelah baseline diperoleh, jalankan workload melalui konfigurasi vGPU yang direncanakan.

Sebagai contoh, kamu dapat mengukur waktu inference sebuah VM ketika hanya satu aplikasi berjalan, kemudian mengulangi pengujian ketika beberapa VM menggunakan GPU secara bersamaan.

Perubahan latensi dan throughput dapat membantu mengidentifikasi pengaruh pembagian resource terhadap performa.

4. Pantau Penggunaan GPU dan VRAM

Pada lingkungan NVIDIA yang kompatibel, perintah berikut dapat digunakan untuk memeriksa GPU yang tersedia.

Perintah tersebut dapat menampilkan informasi perangkat, driver, penggunaan memori, dan aktivitas GPU sesuai kemampuan monitoring yang tersedia pada host atau VM.

Untuk melihat beberapa metrik penggunaan resource, kamu juga dapat mencoba perintah berikut apabila didukung oleh lingkungan.

Namun, kemampuan monitoring dari dalam VM dapat berbeda dari informasi yang tersedia pada host.

Administrator perlu memeriksa dokumentasi pengelolaan vGPU agar dapat membedakan penggunaan resource setiap VM dengan penggunaan GPU fisik secara keseluruhan.

5. Evaluasi Konsistensi dan Biaya

Pengujian sebaiknya dilakukan beberapa kali menggunakan konfigurasi workload yang sama.

Kamu juga perlu mencatat penggunaan CPU, RAM, GPU, serta perubahan performa ketika jumlah VM bertambah.

Selain performa, bandingkan biaya hardware, lisensi vGPU, pengelolaan hypervisor, dan kebutuhan operasional lainnya.

Virtualisasi GPU baru memberikan manfaat ekonomis apabila efisiensi penggunaan resource sebanding dengan kompleksitas serta biaya implementasinya.

Kesimpulan

Virtualisasi GPU memungkinkan organisasi menyediakan akses kemampuan GPU fisik kepada lingkungan virtual melalui berbagai mekanisme alokasi resource.

Teknologi seperti GPU passthrough, time-sliced vGPU, MIG, dan GPU partitioning mempunyai karakteristik berbeda dalam hal eksklusivitas perangkat, isolasi, fleksibilitas, serta konsistensi performa.

Pemilihan metode yang tepat perlu mempertimbangkan workload, kapasitas GPU, kompatibilitas hardware, dukungan hypervisor, dan kebutuhan lisensi.

Organisasi juga perlu melakukan pengujian performa menggunakan aplikasi yang representatif sebelum membagi resource GPU kepada banyak virtual machine.

Dengan memahami mekanisme dan batasannya, administrator dapat menentukan apakah virtualisasi GPU benar-benar membantu meningkatkan efisiensi infrastruktur atau apakah penggunaan GPU secara eksklusif lebih sesuai dengan kebutuhan aplikasi.