Perubahan cara industri kecerdasan buatan menilai infrastruktur komputasi kini makin jelas terlihat. Fokus tidak lagi berhenti pada mahalnya GPU, melainkan bergeser ke sejauh mana sistem mampu menekan biaya untuk menghasilkan setiap token.
Bagi penyedia layanan AI generatif, ukuran ini terasa lebih dekat dengan kebutuhan bisnis. Sebuah sistem bisa saja memiliki daya komputasi besar, tetapi jika biaya untuk menghasilkan token tetap tinggi, efisiensinya belum tentu menguntungkan.
Biaya per token jadi ukuran yang lebih relevan
Dalam praktiknya, biaya per token mencerminkan efisiensi total sebuah sistem AI. Ukuran ini tidak hanya melihat perangkat keras, tetapi juga perangkat lunak, jaringan, serta seberapa optimal sistem itu digunakan dalam menjalankan layanan.
Karena itu, biaya per token dinilai lebih mudah dibaca oleh pelaku usaha. Yang dicari bukan sekadar GPU yang kuat, melainkan sistem yang bisa menghasilkan token dalam jumlah besar dengan ongkos sekecil mungkin.
Perubahan sudut pandang ini membuat pusat data diperlakukan seperti mesin produksi token. Artinya, keberhasilan infrastruktur tidak lagi diukur semata dari besarnya tenaga komputasi, tetapi dari hasil nyata yang bisa dihasilkan secara stabil dan efisien.
Dari performa mentah ke efisiensi operasional
Pergeseran ini juga mengubah cara persaingan di industri AI dibaca. Jika sebelumnya pembahasan banyak berputar pada performa komputasi dan harga GPU, kini perhatian bergerak ke kemampuan memangkas biaya produksi token tanpa menurunkan kualitas layanan.
NVIDIA menggambarkan pusat data sebagai “pabrik token AI” untuk menjelaskan perubahan ini. Dalam kerangka tersebut, ukuran yang lebih penting bergeser dari FLOPS per dolar menjadi berapa banyak token yang dapat dihasilkan dengan biaya serendah mungkin.
Dengan pendekatan itu, infrastruktur AI tidak lagi dinilai dari seberapa mahal perangkat yang dipakai. Yang lebih menentukan adalah seberapa efisien seluruh sistem mengubah daya hitung menjadi token yang siap dipakai layanan.
Hopper dan Blackwell memperlihatkan jarak efisiensi
Perbedaan efisiensi antara dua generasi GPU NVIDIA memperjelas arah baru ini. Hopper disebut mampu menghasilkan sekitar 90 token per detik per GPU dengan biaya sekitar USD4,20 per juta token.
Di sisi lain, Blackwell menunjukkan lonjakan efisiensi yang jauh lebih besar. GPU ini disebut mampu menghasilkan sekitar 6.000 token per detik per GPU dengan biaya hanya USD0,12 per juta token.
Walau harga sewa Blackwell lebih tinggi, output yang dihasilkan jauh lebih besar. Dampaknya, biaya operasional bisa turun hingga 35 kali lipat, sehingga total biaya menjalankan layanan menjadi lebih ringan.
Optimisasi perangkat lunak ikut menekan biaya
Efisiensi token ternyata tidak hanya bergantung pada generasi GPU baru. NVIDIA juga menyoroti sejumlah teknik yang membantu menurunkan biaya produksi token dalam proses generasi.
Teknik itu mencakup presisi FP4, speculative decoding, multi-token prediction, dan offloading KV-cache. Kombinasi metode tersebut membuat proses generasi token berjalan lebih hemat dan lebih efektif.
Bagi penyedia layanan, pendekatan ini penting karena output bisa naik tanpa mendorong biaya naik sebanding. Dengan kata lain, efisiensi tidak selalu harus menunggu kehadiran perangkat keras baru.
Cloud partner mulai bergerak ke arah Blackwell
Sejumlah cloud partner seperti CoreWeave, Nebius, Nscale, dan Together AI disebut mulai mengadopsi Blackwell. Langkah itu diarahkan untuk menghadirkan layanan AI dengan biaya token serendah mungkin.
Perubahan ini juga punya arti penting bagi model bisnis AI. Saat biaya per token turun, perusahaan mendapat ruang lebih besar untuk menjaga harga tetap kompetitif sekaligus memperluas layanan.
Dari sisi evaluasi bisnis, perhatian pun bergeser ke total cost of ownership atau TCO. Ukuran ini menjadi lebih relevan karena menunjukkan beban biaya secara menyeluruh, bukan hanya harga satu komponen di awal.
Arah baru dalam menilai infrastruktur AI
Fokus pada biaya per token menunjukkan bahwa industri AI semakin menilai infrastruktur dari hasil akhirnya. Harga GPU tetap punya peran penting, tetapi ukuran yang kini lebih menentukan adalah biaya untuk menghasilkan token yang benar-benar dipakai layanan.
Dengan pusat data yang makin diposisikan sebagai pabrik token, efisiensi menjadi kata kunci yang sulit diabaikan. Ukuran ini memberi gambaran yang lebih konkret tentang seberapa baik sebuah sistem mengubah daya komputasi menjadi nilai yang bisa langsung dirasakan pengguna dan bisnis.
Source: www.medcom.id
