PLAZNEWS — IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU.
Inisiatif ini ditujukan untuk mempercepat pemrosesan AI, meningkatkan throughput token, serta menekan biaya operasional dalam pengembangan AI factory, terutama di tengah pergeseran industri menuju model bisnis berbasis layanan AI.
Kolaborasi ini menghadirkan pendekatan baru dalam mengelola beban kerja AI, dengan memanfaatkan telemetri atau data pemantauan sistem secara real time untuk mengoptimalkan penggunaan GPU.
Teknologi ini memungkinkan pengambilan keputusan berbasis kondisi infrastruktur saat itu juga, sehingga proses inferensiyakni tahap ketika model AI menghasilkan output dari data yang diberikandapat berjalan lebih efisien.
Chief Product Officer F5, Kunal Anand, menjelaskan bahwa fokus industri AI kini telah bergeser dari sekadar kapasitas komputasi ke efisiensi ekonomi.
Infrastruktur AI tidak lagi hanya soal akses terhadap GPU, tetapi bagaimana memaksimalkan output dari setiap akselerator.
Dengan pendekatan ini, produksi token dapat diperlakukan sebagai metrik bisnis yang terukur, ujarnya dalam pernyataan resmi.
Dalam konteks AI, token merujuk pada unit data yang diproses atau dihasilkan model, seperti kata atau fragmen teks.
Kecepatan dan volume produksi token menjadi indikator penting yang memengaruhi performa aplikasi, pengalaman pengguna, serta efisiensi biaya.
Oleh karena itu, peningkatan throughput token dan penurunan latensi menjadi fokus utama dalam pengembangan infrastruktur AI modern.
IP Next for Kubernetes dan NVIDIA BlueField-3 DPU memungkinkan pengalihan sejumlah fungsi komputasi, seperti networking, enkripsi, dan manajemen trafik, dari CPU ke DPU (data processing unit).
Pendekatan ini membebaskan sumber daya CPU dan GPU agar dapat difokuskan pada proses inferensi utama, sehingga meningkatkan utilisasi dan efisiensi sistem secara keseluruhan.
Berdasarkan pengujian yang divalidasi oleh The Tolly Group, solusi ini mampu meningkatkan token throughput hingga 40%, mempercepat time to first token (TTFT)waktu yang dibutuhkan untuk menghasilkan output pertamahingga 61%, serta mengurangi latensi permintaan hingga 34%.
Hasil ini menunjukkan peningkatan kinerja yang signifikan tanpa memerlukan perubahan pada model AI yang digunakan.
Senior Vice President Networking NVIDIA, Kevin Deierling, menyatakan bahwa kombinasi teknologi kedua perusahaan membuka peluang optimalisasi ekonomi AI.
Integrasi infrastruktur komputasi terakselerasi NVIDIA dengan platform delivery dan keamanan aplikasi dari F5 memungkinkan inferensi AI yang lebih skalabel dan efisien tanpa perlu modifikasi model, jelasnya.
yaitu sistem yang mampu menjalankan tugas secara otonom dan berkelanjutan dengan memahami konteks.
VXLAN dengan virtual routing and forwarding (VRF) untuk memastikan keamanan multi-tenant.
tenant memungkinkan beberapa pengguna atau organisasi berbagi infrastruktur GPU yang sama secara aman, tanpa mengorbankan performa dan isolasi sistem.
as-a-Service dan NeoCloud yang ingin mengoptimalkan penggunaan sumber daya sekaligus menjaga kualitas layanan.
IP Next for Kubernetes sebagai control plane dalam ekosistem AI factory, yaitu lapisan yang mengatur alur trafik, konsumsi sumber daya, dan keamanan sistem secara terpusat.
Dengan pendekatan ini, perusahaan dapat menghindari overprovisioning atau penyediaan kapasitas berlebih yang tidak efisien, serta meningkatkan nilai ekonomi dari setiap GPU yang digunakan.
Kolaborasi antara F5 dan NVIDIA mencerminkan perubahan arah industri AI menuju efisiensi operasional dan monetisasi layanan.
Dengan memanfaatkan telemetri, akselerasi DPU, serta manajemen trafik berbasis kecerdasan, perusahaan berupaya menghadirkan infrastruktur yang tidak hanya kuat secara teknis, tetapi juga optimal secara ekonomi dalam mendukung pertumbuhan layanan AI di masa depan.
REDAKSI/BISNIS Jl. Amil No.28i RT.2 RW.5, Kelurahan Kalibata Kecamatan Pancoran, Jakarta Selatan, DKI Jakarta - 12740 E-mail : redaksi@selular.co.id
