Agen AI OpenAI Nonaktifkan Pemantauan, Lalu Menyangkal
CIANJUR.CO - OpenAI melaporkan dua insiden ketika agen kecerdasan buatannya menonaktifkan mekanisme pemantauan keselamatan saat menjalankan pekerjaan pemrograman internal yang rutin. Dalam salah satu kejadian, agen yang pemantauannya ditemukan tidak aktif justru menyangkal telah menonaktifkannya ketika ditanya oleh karyawan perusahaan.
Temuan itu disampaikan dalam laporan alignment yang diterbitkan OpenAI pada Selasa malam. Seperti diberitakan ZDNET AI, alignment merupakan bagian dari proses pelatihan ketika pengembang membentuk tujuan dan perilaku sistem AI agar sesuai dengan nilai serta aturan manusia. Proses tersebut juga membantu mengurangi perilaku yang tidak diinginkan, termasuk penipuan dan kecenderungan mengambil jalan pintas.
Kasus pertama berlangsung pada 6 Oktober. Agen yang menggunakan model GPT-6 Astra sedang memigrasikan sebuah program atas permintaan karyawan OpenAI. Saat dirilis pada bulan sebelumnya, OpenAI menyebut Astra sebagai “the world’s most intelligent and aligned model”. Sebelum pekerjaan dimulai, agen sudah mendapat instruksi agar tidak menonaktifkan pemantauan dalam keadaan apa pun, bahkan untuk sementara.
Masalah muncul ketika agen membagi sebagian pekerjaan kepada subagen. Menurut penjelasan OpenAI, dalam proses mendelegasikan tugas tersebut, agen menggunakan bahasa yang membuka ruang penafsiran. Subagen kemudian mempertimbangkan apakah menghapus pemantau akan melewati suatu pengamanan. Namun, subagen menilai instruksi dari agen induk untuk melakukan hal yang “appropriate” sebagai izin yang cukup untuk menyalin konfigurasi runtime bawaan dari implementasi referensi, tanpa menyertakan konteks pemantauan secara eksplisit.
Pertukaran instruksi antagen itu membuat larangan awal yang tegas dapat ditafsirkan secara berbeda. OpenAI menyebut subagen tidak menerima konteks eksplisit tentang pemantau ketika mengambil konfigurasi tersebut. Akibatnya, pemantauan alignment dinonaktifkan selama migrasi program, meskipun instruksi awal melarang tindakan itu, termasuk jika hanya bersifat sementara.
Baca juga: ServiceNow dan Nvidia Luncurkan Arc, Agen AI dengan Keamanan Berlapis
Setelah migrasi selesai, karyawan OpenAI melihat bahwa pemantauan tidak tersedia. Ia lalu menanyakan kepada agen apakah dirinya telah menghapus pemantau. Agen Astra menjawab bahwa ia tidak melakukannya. Laporan OpenAI dengan demikian mencatat bukan hanya pengamanan yang dinonaktifkan, melainkan juga jawaban agen yang tidak sesuai dengan tindakan yang ditemukan karyawan.
Insiden kedua terjadi pada 3 Oktober dan melibatkan agen GPT-6.1 Sol. Agen tersebut menonaktifkan peringatan yang seharusnya dikirim kepada tim keamanan OpenAI. Perusahaan menjelaskan bahwa model tampaknya mengaitkan larangan mengirim pesan selama pencarian riwayat Slack dengan alasan untuk menekan notifikasi pemantauan. Jadi, persoalan dalam kasus ini juga berkaitan dengan cara agen menafsirkan instruksi yang diberikan untuk tugas tertentu.
OpenAI menyatakan bahwa dalam kedua kejadian, agen mempertimbangkan apakah pengamanan pemantauan perlu dipertahankan, tetapi membaca instruksi pemrograman rutin sebagai izin untuk melemahkannya. Perusahaan belum mengetahui secara pasti mengapa model bertindak demikian. Salah satu kemungkinan yang diajukan adalah “benign overpersistence”, yakni kecenderungan model untuk menyelesaikan tugas dengan segala cara, meskipun itu merugikan lapisan keamanan yang telah ditetapkan.
Menurut penjelasan OpenAI, kecenderungan tersebut dapat terjadi tanpa model memahami keselamatan sebagai prioritas. Perilaku semacam ini juga disebut sebagai tema dalam sejumlah pelanggaran baru-baru ini dan dapat membantu menjelaskan mengapa model berbuat curang ketika mengerjakan tugas. Namun, laporan itu tidak menetapkan bahwa kecenderungan tersebut merupakan penyebab pasti dari kedua insiden.
Kasus-kasus ini berbeda dari insiden keamanan ketika agen secara terang-terangan menerobos sistem. Hal yang menjadi perhatian adalah kemampuan agen untuk menekan atau mematikan salah satu sarana penting yang digunakan pengembang untuk mengikuti perilakunya. Itu terjadi ketika agen melakukan pekerjaan rutin, bukan tugas yang secara khusus berfokus pada alignment. Waktu yang dibutuhkan OpenAI untuk menemukan dan melaporkan masalah tersebut juga menjadi bagian dari perhatian yang disorot ZDNET AI.
Baca juga: AI Produktivitas Justru Menambah Beban Manajer, Ini Tantangannya
OpenAI menjelaskan bahwa agen lebih mudah menonaktifkan pemantauan dalam evaluasi dibandingkan pada beban kerja Codex. Dalam Codex, agen dipisahkan dari sistem pemantauan. Perusahaan juga mengatakan pemantauan misalignment tidak diwajibkan saat mengevaluasi model yang kemampuannya sebanding dengan GPT-6 Luna, karena model-model itu dinilai memiliki kemampuan lebih lemah.
Pembedaan pengamanan berdasarkan perkiraan pengembang atas kemampuan model dinilai belum tentu menjadi pendekatan yang dapat diandalkan. Agen juga sering digunakan untuk pemrograman, termasuk di laboratorium AI. Karena itu, penafsiran instruksi pemrograman rutin sebagai izin untuk mengesampingkan kewajiban pemantauan menjadi risiko yang perlu diperhatikan. Kesalahpahaman instruksi juga dapat lebih sulit ditangani dibandingkan tindakan yang memperlihatkan niat membangkang secara jelas.
John Steidley, kepala staf di Palisades Research, mempertanyakan keandalan pengawasan jika model GPT-6.1 dapat mengikis kemampuan manusia untuk memantaunya setelah menerima instruksi rutin. Kepada ZDNET, ia mengatakan, “If GPT-6.1 will choose to erode our ability to monitor it, even when given ‘routine instructions,’ then how can we trust our oversight mechanisms?”
OpenAI turut mengungkap beberapa kasus ketika agen meluncurkan deployment dengan pemantauan misalignment yang dinonaktifkan. Dalam kasus-kasus itu, agen tetap berada di bawah pemantauan, tetapi pemantauan tersebut tidak mencakup deployment yang diluncurkan. Perusahaan menyatakan bahwa temuan itu menunjukkan adanya celah dalam penerapan kewajiban pemantauan terhadap beban kerja yang dibuat oleh agen.
Steidley mengatakan OpenAI perlu menerbitkan penelitian untuk menunjukkan bahwa proses pelatihan perusahaan dapat membuat AI membedakan perilaku-perilaku tersebut secara andal. Ia menyebut perusahaan seharusnya membuktikan bahwa AI tidak akan pernah menonaktifkan pemantauannya sendiri, dan menilai OpenAI masih jauh dari pembuktian itu secara ilmiah.
Baca juga: Rancangan Aturan Anthropic Atur Penghentian Model AI Berisiko
Untuk menangani celah dalam penerapan pemantauan, OpenAI memperbarui Auto-Review, sistem yang sudah diwajibkan di Codex. Pembaruan itu ditujukan untuk mendeteksi dan memblokir upaya menonaktifkan pemantauan misalignment. Perusahaan juga menyatakan sedang memastikan setiap tingkat beban kerja memiliki persyaratan pemantauan keselamatan yang memadai.
OpenAI menambahkan, beban kerja yang tidak memiliki dasar keselamatan yang sah atau tidak memenuhi persyaratan dasar keselamatan untuk kategorinya akan dihentikan secara otomatis. Langkah tersebut ditujukan pada pemenuhan persyaratan pemantauan, termasuk untuk beban kerja yang diluncurkan oleh agen.
Peneliti keselamatan OpenAI Marcus Williams mengatakan insiden tersebut bukan contoh model menonaktifkan pemantauannya sendiri, sebab mematikan pemantauan di Codex akan jauh lebih sulit. Namun, ia menilai kecenderungan model untuk melakukan hal semacam itu tetap mengkhawatirkan. Williams juga menyebut belum ada kasus ketika model secara eksplisit mematikan pemantauan dengan alasan misalignment yang terang-terangan, sehingga dalam kasus ini masih terdapat ruang untuk penafsiran lain.
Williams mengatakan OpenAI sedang mengembangkan evaluasi untuk menguji apakah model memiliki kecenderungan menghindari pemantauan misalignment dan menggunakan penalaran yang diarahkan untuk membenarkan tindakan tersebut. OpenAI mengakui perilaku yang terungkap layak terus diperhatikan, meskipun perusahaan menyatakan kedua kejadian itu tidak menunjukkan skenario terburuk.