OpenAI Buka Decisions API untuk Publik, Tantang Model Jev
CIANJUR.CO - OpenAI memperluas akses Decisions API, model yang dirancang untuk mengambil keputusan cepat berdasarkan sejumlah pilihan, kepada seluruh pelanggannya. Langkah ini membawa perusahaan tersebut ke pasar kecerdasan buatan yang mengutamakan kecepatan dan biaya rendah, sebuah kategori yang belakangan melejit setelah model Jev dari TypeSafe menarik perhatian pengembang perangkat lunak.
Berdasarkan laporan TechCrunch AI, Jev turut mengangkat TypeSafe, perusahaan rintisan yang didirikan mantan peneliti dari laboratorium AI terdepan, menjadi perusahaan bernilai 7,6 miliar dolar AS. Model tersebut memperkenalkan kategori model deep learning yang berperan sebagai pengklasifikasi super: pengguna memberikan sejumlah opsi, lalu model memilih salah satunya dengan cepat sekaligus menyertakan tingkat keyakinan atas keputusan itu.
Pengembang menemukan bahwa model keputusan, yang juga disebut model System One, dapat menggantikan model bahasa besar atau LLM dalam beragam alur kerja. Keunggulannya terletak pada kemampuan bekerja lebih cepat dan dengan biaya yang jauh lebih rendah. Perkembangan itu mendorong OpenAI menyiapkan produk sejenis setelah timnya melihat potensi penggunaan yang luas.
Nikunj Handa, pemimpin produk untuk API OpenAI, mengatakan kepada TechCrunch bahwa rekan-rekannya melihat Jev dan menyadari ada banyak kemungkinan pemanfaatan. Timnya kemudian bergerak cepat membangun versi OpenAI. Alih-alih membuat model keputusan yang dikalibrasi secara khusus, mereka mengambil ChatGPT Luna, lalu mengaturnya kembali agar proses inferensi berlangsung lebih cepat dan biaya penggunaannya turun.
Baca juga: Canva Luncurkan Canva Craft, Model Gambar AI Pertamanya
“Terobosan besar Decisions API adalah kecepatannya, memangkas waktu dari satu hingga tiga detik menjadi 100, 120, 180 milidetik,” kata Handa. Ia menjelaskan bahwa OpenAI mungkin akan memberikan pelatihan khusus agar modelnya makin baik dalam tugas-tugas tersebut. Namun, untuk saat ini, Decisions API masih menggunakan Luna yang disesuaikan untuk menjalankan fungsi itu.
Uji penggunaan dan persaingan model
OpenAI mengumumkan Decisions API dalam acara developer day pada 29 September. Setelah tersedia bagi pelanggan pada Kamis, versi publiknya juga menghadirkan modalitas suara dan visual. Perusahaan tersebut berupaya menekan latensi di berbagai wilayah dunia dengan menempatkan sumber daya inferensi secara geografis, agar layanan dapat merespons lebih cepat.
Dalam uji awal bersama pelanggan seperti Box, Datadog, Ramp, dan Speak, para insinyur memakai API itu untuk menggantikan LLM OpenAI dalam kebutuhan yang memerlukan throughput lebih tinggi. Andrew Hsu, CTO Speak, perusahaan yang mengembangkan tutor bahasa berbasis AI, mengatakan Decisions API memangkas jeda antara tindakan dari 1,4 detik menjadi 0,13 detik. OpenAI juga memanfaatkan produk itu untuk meningkatkan responsivitas asisten suara Dots miliknya.
Baca juga: 1Password Hadirkan Fitur agar AI Bisa Login Tanpa Melihat Kata Sandi
Meski demikian, belum ada ukuran tunggal yang memastikan suatu model keputusan lebih baik daripada model lain. Selain kecocokan dengan kebutuhan pengguna, penilaian dapat bergantung pada kecerdasan, biaya, kalibrasi, dan kecepatan. Bobot masing-masing aspek juga berbeda menurut beban kerja. CEO TypeSafe, Diogo Almeida, tidak mempercayai hasil benchmark sebagai satu-satunya penentu dan menganjurkan pengguna menguji model dalam pekerjaan mereka sendiri. Namun, TypeSafe tetap menerbitkan pemeringkatannya sendiri pekan lalu bersamaan dengan peluncuran model Jev terbarunya.
Sejumlah benchmark publik menunjukkan persaingan yang beragam. AIM System One Index dan Artificial Analysis Decision Index cenderung menempatkan D1 Ultra, model keputusan baru dari Liquid yang diluncurkan pekan lalu, serta Elephant-1 dari Base Lab di posisi unggul. Jev terbaru masih bersaing dan berada di peringkat ketujuh serta ketiga pada kedua indeks tersebut. Sementara itu, Decision Model milik OpenAI masing-masing berada di posisi kedelapan dan keempat belas. Untuk saat ini, produk TypeSafe menjadi model yang paling banyak dikueri melalui OpenRouter.
Benchmark JevMan menguji model keputusan dengan permainan Pac-Man, dan Jev terbaru menempati posisi teratas di sana. Felix Wunderlich, chief growth officer Opper AI yang membuat benchmark tersebut, menilai permainan klasik itu menarik karena menghadirkan rangkaian keputusan cepat dengan konsekuensi tinggi. Pada setiap persimpangan, model perlu menentukan arah dalam beberapa ratus milidetik.
Baca juga: MAI-DxO Microsoft Capai Akurasi 83 Persen pada Kasus Medis Kompleks
Peran multimodal dan peluang penggunaan
Handa menilai kemampuan multimodal dapat menjadi keunggulan Luna yang dianggap lebih mumpuni. Untuk klasifikasi gambar, ia mengatakan Luna sangat kuat dan menunjukkan kalibrasi yang lebih baik. Menurut Handa, pelanggan OpenAI juga menginginkan Decisions API lebih fleksibel dalam menggunakan gambar sebagai keluaran, bukan hanya sebagai masukan.
Handa melihat peningkatan kecepatan lebih lanjut dapat membuka penggunaan baru. Ia membayangkan API bisa dipanggil pada setiap bingkai video apabila responsnya dapat dipangkas hingga sekitar 60 milidetik. Gagasan itu menunjukkan bagaimana pengurangan latensi berpotensi mengubah jenis tugas yang dapat ditangani model keputusan.
Persaingan antara Decisions API, Jev, dan model lain berlangsung saat layanan semacam ini terus menjadi lebih cepat dan murah. Nama Jev merujuk pada seorang ekonom yang memperkirakan bahwa komoditas yang murah akan semakin banyak digunakan. Handa menggambarkan potensi tersebut sebagai “serangkaian kasus penggunaan yang gila” yang sebelumnya tersembunyi, lalu terlihat setelah model keputusan hadir.