Amazon Rilis TorchNeuron untuk Bawa Aplikasi AI ke Chip Trainium
CIANJUR.CO - Amazon Web Services (AWS) merilis TorchNeuron pada Senin, sebuah perangkat pengembangan yang memungkinkan perusahaan rintisan kecerdasan buatan memindahkan aplikasi mereka ke chip AI buatan Amazon, Trainium. Langkah ini bukan hanya menawarkan jalur baru untuk menjalankan aplikasi, tetapi juga menyasar keunggulan perangkat lunak yang selama ini membantu Nvidia menjadi pilihan utama untuk perangkat keras AI.
Seperti diberitakan TechCrunch AI, TorchNeuron bekerja dengan PyTorch, perangkat pengembangan sumber terbuka dan gratis yang dipakai untuk membangun, melatih, serta menjalankan model AI. Menurut Amazon, aplikasi yang ditulis menggunakan PyTorch dapat dijalankan pada Trainium hanya dengan mengubah satu baris konfigurasi. Pengembang tidak perlu menulis ulang kode aplikasinya.
Amazon menyebut sekitar 85 persen aplikasi AI ditulis dengan PyTorch. Perangkat tersebut awalnya dikembangkan oleh Facebook. Sejak 2022, PyTorch menjadi bagian dari Linux Foundation, organisasi yang memelihara berbagai proyek sumber terbuka. Besarnya penggunaan PyTorch membuat dukungan terhadap perangkat itu penting bagi perusahaan yang ingin menawarkan chip alternatif untuk menjalankan aplikasi AI.
Nvidia telah menghabiskan waktu bertahun-tahun untuk memastikan perangkat lunaknya, CUDA, mendukung aplikasi AI berbasis PyTorch dengan lancar. CUDA merupakan infrastruktur perangkat lunak yang memungkinkan aplikasi berjalan pada GPU Nvidia dan perangkat keras Nvidia lainnya. Integrasi tersebut membuat perangkat keras Nvidia tertanam kuat dalam lingkungan PyTorch dan, pada praktiknya, menjadi pilihan bawaan bagi banyak pengembang.
Baca juga: Kebocoran OpenCode Console Picu Tagihan AI Tak Sah
Amazon menawarkan integrasi dengan layanan cloud
TorchNeuron diadaptasi dari PyTorch. Karena itu, Amazon menyatakan pengembang yang sudah mengenal PyTorch dapat menggunakan TorchNeuron tanpa perlu mempelajari perangkat pengembangan yang sepenuhnya berbeda. Namun, Amazon bukan perusahaan pertama yang menawarkan cara sederhana untuk menjalankan aplikasi PyTorch pada chip selain Nvidia. Pengguna PyTorch juga dapat memindahkan aplikasi ke GPU AMD atau chip Apple melalui perubahan konfigurasi sederhana.
Amazon berargumen bahwa pemindahan ke Trainium menawarkan lebih dari sekadar kemudahan teknis. Perusahaan rintisan yang memilihnya juga memperoleh akses ke seluruh layanan cloud AWS. Menurut posisi AWS, hal itu membuat platformnya lebih menarik dibandingkan penyedia komputasi khusus atau neocloud, yang banyak di antaranya bergantung pada perangkat keras Nvidia. Contoh penyedia yang disebut dalam laporan adalah Coreweave, Nebius, dan Firmus.
Colin Brace, VP of Technology Software di AWS Annapurna Labs—unit yang membuat chip khusus Amazon—menyampaikan argumen tersebut kepada TechCrunch melalui surel. “Anda membangun di AWS. Anda tidak bertaruh pada penyedia komputasi dengan satu tujuan lalu terburu-buru membangun segala hal lain di sekelilingnya,” kata Brace.
Brace menambahkan bahwa AWS telah menyediakan infrastruktur yang dibutuhkan untuk membawa produk dari tahap prototipe ke produksi. Menurut dia, kondisi itu memungkinkan pendiri perusahaan bergerak cepat dan meningkatkan skala ketika diperlukan. Pernyataan tersebut menempatkan akses ke layanan cloud sebagai bagian dari tawaran Trainium, bukan sekadar persoalan memilih chip untuk menjalankan model.
Baca juga: Tolan Raih Pendanaan US$30 Juta, Pengguna Aktif Tembus 250 Ribu
AWS juga menyatakan biaya dapat dihemat karena chip yang sama menangani pelatihan dan inferensi. Pelatihan adalah proses mengajarkan model AI, sedangkan inferensi merupakan tahap ketika model yang sudah selesai digunakan, misalnya untuk menjawab pertanyaan pengguna. AWS mengaitkan efisiensi itu dengan integrasi Trainium dan infrastruktur cloud yang dibutuhkan perusahaan rintisan. Klaim penghematan tersebut tetap diajukan meskipun harga per token AWS belum tentu menjadi yang paling murah.
Brace menggambarkan nilai Trainium sebagai gabungan kinerja terhadap harga dan penggunaan satu platform untuk pelatihan serta inferensi, yang menurutnya memperbaiki ekonomi keseluruhan beban kerja. Ia mencontohkan Deepgram, penyedia aplikasi suara AI yang bersaing dengan ElevenLabs. Menurut Brace, Deepgram berpindah ke Trainium menggunakan dukungan PyTorch asli dan memproses 70 persen lebih banyak audio untuk setiap dolar, dengan akurasi tingkat produksi.
Perubahan PyTorch dapat memperluas pilihan perangkat keras
Ambisi Amazon tidak berhenti pada penyediaan opsi bagi pengembang untuk memindahkan aplikasi ke cloud AWS. Perusahaan juga mengatakan sedang mendorong PyTorch agar tidak secara otomatis berpusat pada Nvidia. Amazon berencana menyumbangkan kode untuk perubahan itu ke proyek utama PyTorch, sehingga upaya tersebut tidak hanya ditujukan bagi pengguna Trainium.
Baca juga: Wabi, Asisten AI Baru Eugenia Kuyda dengan Banyak Thread
Dalam tulisan blog yang mengumumkan TorchNeuron, Amazon mengatakan pendekatannya melampaui perangkat keras miliknya. Perusahaan menyebut akan bekerja bersama komunitas PyTorch untuk menghapus kode yang mengikat kerangka kerja tersebut pada chip tertentu. Tujuannya, menurut Amazon, adalah menjadikan PyTorch lebih netral terhadap perangkat keras bagi komunitas pengembang secara keseluruhan.
Langkah itu berpotensi menguntungkan penjual perangkat keras dan layanan cloud yang bersaing dengan Nvidia. Namun, PyTorch juga dirancang untuk menyembunyikan berbagai kesulitan teknis dalam menjalankan kode AI pada perangkat keras. Karena itu, perubahan yang menjauhkan kerangka kerja tersebut dari Nvidia masih menyisakan pertanyaan: apakah pengembang akan mendapat lebih banyak pilihan dan biaya yang lebih terjangkau, seperti dijanjikan Amazon, atau justru menghadapi lebih banyak kerumitan konfigurasi.
Jika Amazon berhasil memisahkan PyTorch secara mendalam dari Nvidia, dampaknya dapat melampaui persaingan antarprodusen chip. Perubahan itu juga dapat memengaruhi posisi Nvidia yang ditopang oleh keterikatan perangkat lunak dengan perangkat kerasnya. Brace menyebut persoalan utamanya sebagai upaya menghapus penguncian yang selama ini membuat pengembang tidak memiliki pilihan nyata.