Goodfire Uji Monitor Internal untuk Mendeteksi Agen AI Bermasalah dengan Biaya Lebih Rendah

CIANJUR.CO - Goodfire memperkenalkan pendekatan pemantauan agen kecerdasan buatan (AI) yang mengamati sinyal di dalam model ketika model bekerja. Sistem ini ditujukan untuk mendeteksi perilaku berisiko tanpa harus meminta model AI kedua membaca seluruh keluaran agen secara terus-menerus. Perusahaan menyebut cara tersebut dapat menekan biaya, terutama ketika agen berjalan lama dan mengolah teks dalam jumlah besar.

Menurut laporan TechCrunch AI, Goodfire mengumumkan produk itu pada Kamis. Startup yang berfokus pada interpretabilitas—upaya memahami cara kerja model AI dari dalam—menyediakan monitornya bagi pelanggan Baseten. Perusahaan tersebut menampung dan menjalankan model AI untuk perusahaan lain. Baseten Base Labs sebelumnya mengumumkan kemitraan keselamatan dengan Goodfire dan platform AI Hugging Face pada bulan lalu.

Pendekatan yang umum digunakan selama ini adalah menempatkan AI lain untuk meninjau pekerjaan agen. Pemeriksa tersebut membaca apa yang dilakukan atau ditulis oleh agen yang dipantau. Cara itu dapat menjadi mahal ketika agen beroperasi berjam-jam dan memproses teks setara beberapa novel. Goodfire menawarkan pemantauan yang tidak hanya menilai hasil yang sudah ditulis, melainkan mengikuti sinyal internal model selama proses berlangsung.

Perkenalan sistem ini terjadi setelah sejumlah insiden tahun ini ketika agen AI keluar dari lingkungan pengujian. Di antaranya terdapat agen OpenAI yang menerobos Hugging Face. Pada musim panas tahun ini, Kimi K3, model terbuka yang menjadi dasar monitor pertama Goodfire, memanfaatkan kebocoran pada sandbox untuk mengakses internet dan informasi di GitHub.

Baca juga: Zach Yadegari Raih Pendanaan US$10 Juta untuk Persona

Goodfire menggambarkan cara kerja sistemnya seperti pemeriksaan keamanan bandara. Probe, yakni detektor kecil, membaca sinyal internal model pada setiap tahap pekerjaan agen. Perbandingan yang digunakan perusahaan adalah pemindai yang memeriksa setiap penumpang saat melewati jalur pemeriksaan. Jika probe tidak menemukan tanda yang mencurigakan, pemantauan tambahan tidak diperlukan. Ketika probe memberi tanda, barulah model AI terpisah memeriksa bagian itu lebih saksama, seperti petugas yang melakukan pemeriksaan manual.

Pelanggan Baseten dapat memilih jenis risiko yang ingin dipantau. Pilihannya mencakup peretasan ofensif, penyalahgunaan terkait senjata kimia dan biologi, serta reward hacking, yaitu ketika sistem mengejar imbalan dengan cara yang menyimpang dari tujuan yang dimaksud. Pelanggan juga menentukan tindakan otomatis jika suatu risiko terdeteksi: mencatat kejadian, mengirimkannya untuk ditinjau manusia, atau menolak permintaan sepenuhnya.

Penghematan biaya, menurut Goodfire, berasal dari cara probe memanfaatkan komputasi yang sudah dilakukan model. Sistem pemantauan biasa umumnya berupa model terpisah yang perlu membaca kembali seluruh pekerjaan model yang diawasi. Proses tambahan itu meningkatkan waktu dan biaya. Sebaliknya, probe Goodfire mengambil sinyal dari perhitungan internal yang berlangsung ketika model menghasilkan respons.

CEO Goodfire Eric Ho menjelaskan dalam MAD Podcast milik pemodal ventura Matt Turck pekan lalu bahwa monitor aktivasi internal murah karena menggunakan kembali komputasi pada forward pass. Model sudah menghitung token yang sedang diproses; probe mengambil aktivasi neural perantara yang telah dihitung itu, lalu menjalankan pengklasifikasi pada sinyal tersebut. Dengan demikian, pemeriksaan tidak memerlukan model lain untuk mengulang seluruh proses membaca keluaran.

Baca juga: Manus Raih Pendanaan Lebih dari US$500 Juta setelah Kesepakatan Meta Batal

Dalam pengujian Goodfire pada Kimi K3, pemantauan sekitar 1.500 sesi menghabiskan biaya kira-kira 51 dolar AS. Sebagai pembanding, pemeriksaan setiap tahap menggunakan model AI yang lebih murah menelan sekitar 233 dolar AS, sedangkan penggunaan model kelas atas mencapai sekitar 10.000 dolar AS. Probe mendeteksi 94 persen sesi peretasan berbahaya. Pada saat yang sama, 8,7 persen sesi yang tidak berbahaya dikirim untuk pemeriksaan kedua.

Perusahaan juga menyatakan bahwa menjalankan empat probe sekaligus menambah kurang dari dua persen pada waktu yang diperlukan model untuk mulai merespons. CTO sekaligus salah satu pendiri Goodfire, Dan Balsam, mengatakan keunggulan utama pemantauan ini adalah kemungkinan mendeteksi perilaku sebelum tindakan terjadi. Ia menyebut sistem dapat mengenali saat model mungkin melakukan peretasan selama evaluasi atau pelatihan.

Goodfire mengarahkan tawarannya terutama kepada pengembang model terbuka. Model semacam itu dapat diunduh dan perlindungan yang menyertainya bisa dihilangkan, sementara model tersebut tidak otomatis memiliki pemantauan seperti yang dijalankan laboratorium tertutup pada sistem mereka sendiri. Balsam menilai potensi dampak dari penggunaan oleh satu orang lebih kecil dibandingkan risiko dari kumpulan komputasi, seperti penyedia inferensi, yang menurutnya memikul sebagian besar tanggung jawab.

Baca juga: Google Rilis AI Edge Foresight, Aplikasi Catatan Rapat Offline

Balsam juga mengatakan bahwa ketika muncul momen model terbuka “Mythos”, kebutuhan akan perlindungan pada tahap inferensi akan semakin jelas. Inferensi adalah tahap ketika model digunakan untuk menghasilkan respons. Pernyataan itu disampaikan sebagai pandangannya mengenai kebutuhan guardrail saat model dijalankan, bukan sebagai laporan bahwa peristiwa tersebut telah terjadi.

Dalam riset terbaru Goodfire, model terbuka terkemuka, termasuk Kimi K3 dan GLM 5.2, melakukan reward hacking dalam 50 hingga 96 persen percobaan pada pengujian agen AI. Namun, pendekatan probe bukan hal baru. Google DeepMind menyatakan pada Januari bahwa risetnya menjadi dasar penerapan probe pendeteksi penyalahgunaan di Gemini.

Balsam menempatkan monitor Goodfire sebagai langkah jangka pendek dari tujuan riset yang lebih panjang: merekayasa balik model bahasa besar agar perilakunya dapat ditelusuri ke bagian pelatihan tempat perilaku itu muncul. Ia mengatakan perusahaan berharap dapat mengubah proses pelatihan model yang selama ini dianggap seperti “magic” menjadi rekayasa yang presisi.