Lonjakan kebutuhan komputasi AI mendorong Google Cloud menghadirkan tensor processing unit atau TPU generasi kedelapan dengan fokus yang lebih tajam pada efisiensi kerja. Cip ini dirancang agar pelatihan model AI bisa berlangsung hingga tiga kali lebih cepat dibanding generasi sebelumnya, sekaligus membantu menekan biaya operasional.
Langkah ini juga menunjukkan perubahan arah pada lini TPU kustom Google, yang kini dibagi menjadi dua jalur utama. TPU 8t disiapkan untuk pelatihan, sedangkan TPU 8i diarahkan untuk inferensi agar pelanggan cloud dapat memilih sumber daya yang paling sesuai dengan tahap kerja AI mereka.
Fokus baru pada pelatihan dan inferensi
Pembagian antara TPU 8t dan TPU 8i membuat penggunaan infrastruktur AI menjadi lebih spesifik. TPU 8t diposisikan untuk beban kerja training dalam pod berukuran besar, sehingga cocok untuk proses pengembangan model yang memerlukan waktu panjang dan daya komputasi sangat besar.
Sebaliknya, TPU 8i ditujukan untuk inferensi, yaitu saat model digunakan untuk merespons prompt atau melayani pengguna. Google menempatkan varian ini sebagai pilihan yang lebih hemat daya dan lebih efisien untuk distribusi model di lingkungan produksi.
Efisiensi menjadi fokus utama
Google menyebut TPU generasi kedelapan ini dirancang untuk memberikan daya komputasi yang lebih besar dengan konsumsi energi yang lebih rendah. Dalam situasi ketika kebutuhan infrastruktur AI terus melonjak, efisiensi seperti ini menjadi faktor penting agar perusahaan tetap bisa menjaga pengeluaran.
Selain klaim percepatan pelatihan, Google Cloud juga menyebut efisiensi kinerja per dolar pada TPU terbaru ini naik 80% dibanding versi sebelumnya. Artinya, pelanggan berpotensi memperoleh performa yang lebih tinggi tanpa harus menanggung biaya yang naik sebanding.
Skala besar untuk kebutuhan model frontier
Selain soal efisiensi, kapasitas skala besar juga menjadi sorotan utama dari TPU generasi kedelapan. Google Cloud menyampaikan bahwa satu klaster kini dapat menjalankan lebih dari satu juta unit TPU secara bersamaan.
Kemampuan ini membuka ruang lebih luas bagi pengembangan frontier model dalam skala yang jauh lebih besar. Di pasar AI yang makin kompetitif, kapasitas semacam ini dinilai penting untuk mendukung kebutuhan riset maupun implementasi model tingkat lanjut.
Penyempurnaan pada TPU 8i
TPU 8i tidak hanya diposisikan sebagai opsi inferensi, tetapi juga membawa sejumlah penyempurnaan teknis. Cip ini memiliki dukungan sparsity yang ditingkatkan dan unit perkalian matriks yang dioptimalkan untuk pola inferensi transformator.
Google juga menyebut TPU 8i mendukung format presisi INT8 dan FP8, dua format yang banyak dipakai dalam penerapan AI skala industri. Kombinasi ini membuat varian inferensi tersebut lebih cocok untuk lingkungan produksi yang menuntut efisiensi dan respons cepat.
Google tetap membuka ruang untuk Nvidia
Meski menguatkan TPU buatannya sendiri, Google Cloud menegaskan bahwa TPU bukan pengganti Nvidia. Pendekatan yang diambil justru bersifat pelengkap, karena infrastruktur berbasis Nvidia juga tetap tersedia di cloud milik Google.
Strategi ganda ini memperlihatkan bahwa Google ingin memperkuat hardware internal tanpa menutup akses ke teknologi pihak ketiga. Perusahaan juga menyampaikan bahwa cip Nvidia terbaru, Vera Rubin, akan tersedia pada akhir tahun ini.
Dalam konteks persaingan pasar, analis cip Patrick Moorhead menilai dominasi Nvidia masih sangat kuat, dengan kapitalisasi pasar yang disebut mendekati Rp86.500 triliun. Ia juga berpendapat bahwa kehadiran cip AI buatan Google, Amazon, dan Microsoft tidak otomatis mengurangi kebutuhan pasar terhadap Nvidia.
Persaingan infrastruktur AI terus memanas
Peluncuran TPU generasi kedelapan memperlihatkan upaya Google Cloud memperkokoh posisinya di pasar infrastruktur AI global. Dengan memisahkan fungsi training dan inferensi, pelanggan mendapat ruang lebih fleksibel untuk menyesuaikan biaya dengan beban kerja masing-masing.
Google juga tetap menjaga hubungan teknis dengan Nvidia melalui kerja sama rekayasa jaringan komputer. Kedua perusahaan mengembangkan teknologi jaringan berbasis perangkat lunak bernama Falcon, yang pertama kali dirilis Google secara open source pada 2023 lewat Open Compute Project.
Di tengah meningkatnya permintaan komputasi AI, penguatan sisi cip, jaringan, dan integrasi sistem pusat data menjadi penentu penting daya saing layanan cloud. Langkah Google lewat TPU 8t dan TPU 8i menunjukkan bahwa kompetisi infrastruktur AI kini tidak hanya soal kecepatan, tetapi juga soal efisiensi, skala, dan kecocokan untuk tiap tahap penggunaan model.
Source: teknologi.bisnis.com
