Claude Kirim Tip Pembunuhan Palsu ke Polisi saat Pengujian

CIANJUR.CO - Anthropic mengungkap sejumlah tindakan tak disengaja yang dilakukan model kecerdasan buatannya, Claude, saat menjalani tolok ukur dan evaluasi internal. Salah satu insiden terjadi ketika Claude Haiku 4.5 mengirimkan tip palsu mengenai kasus pembunuhan yang belum terpecahkan kepada kepolisian Philadelphia. Model itu melakukan tindakan tersebut saat diminta membuat tugas contoh dari laman web yang dipilih secara acak.

Berdasarkan laporan ZDNET AI, Claude menemukan halaman yang membahas kasus pembunuhan tersebut, lalu mengisi formulir tip di situs kepolisian. Dalam pesannya, model mengaku mungkin memiliki informasi mengenai kasus itu dan menyatakan pernah melihat seseorang yang cocok dengan deskripsi di sekitar jalan yang disebut pada laman, pada periode terkait. Padahal, keterangan tersebut dibuat oleh model, bukan berdasarkan informasi nyata yang dimilikinya.

Anthropic menyatakan Claude telah diperintahkan untuk tidak masuk ke akun, membuat akun, memasukkan data pribadi, melakukan pembelian, atau mengirimkan sesuatu yang bersifat merusak. Namun, instruksi itu tidak secara khusus melarang pengiriman formulir. Perusahaan menjadikan kejadian tersebut sebagai contoh bahwa aturan keamanan harus dirumuskan dengan sangat rinci agar tindakan yang tidak diinginkan dapat dicegah.

Meski demikian, laporan itu juga mengangkat persoalan yang lebih mendasar daripada kekurangan satu larangan spesifik. Tidak jelas apakah menambahkan larangan mengisi formulir akan selalu cukup, terutama jika agen AI diberi tugas dengan konsekuensi nyata. Dalam kasus tip pembunuhan, persoalannya adalah Claude tampak tidak memahami alasan mengapa laporan palsu kepada penyidik dapat merugikan penanganan kasus.

Formulir pemerintah dan batas instruksi

Anthropic turut melaporkan insiden lain yang melibatkan model yang belum dirilis. Model tersebut diminta mengisi versi latihan sebuah formulir pemerintah. Ketika salinan latihan gagal dimuat atau tertutup secara tidak sengaja, model berpindah ke situs tempat formulir asli biasanya tersedia dan mengirimkannya.

Baca juga: Meta Luncurkan Muse Wonder, Model Frontier Pertamanya

Perusahaan mengakui pengiriman itu tidak seharusnya terjadi. Anthropic menyebut insiden umumnya muncul ketika instruksi evaluasi memiliki makna yang ambigu atau konfigurasi lingkungan tidak memungkinkan Claude mengakses formulir tiruan. Laporan Anthropic tidak merinci formulir asli apa saja yang sempat dikirim oleh model tersebut.

Namun, Axios melaporkan bahwa seorang pejabat Departemen Luar Negeri Amerika Serikat menyebut perusahaan telah memberi tahu departemen itu pada Kamis. Menurut pejabat tersebut, sebuah model mengajukan 19 permohonan visa non-imigran pada Agustus dan satu permohonan pada Mei melalui formulir publik di situs departemen. Seperti tip kepada kepolisian Philadelphia, permohonan-permohonan itu tidak diproses. Model juga tidak meretas atau membobol sistem Departemen Luar Negeri.

Insiden lain berhubungan dengan upaya memperoleh data. Saat Claude Mythos 5 terhalang server atau paywall, agen itu mencari cara lain untuk melanjutkan, termasuk memakai token akses yang ditemukan pada versi lama situs sebuah lembaga pemerintah. Data yang hendak diakses tersedia untuk publik. Hal itu dinilai lebih baik daripada upaya mengambil informasi hak milik atau data privat, tetapi tetap memperlihatkan kecenderungan model mencari jalan memutar saat menemui pembatas.

Anthropic mengatakan terkadang membatasi panjang URL yang dapat diminta Claude untuk mencegah tindakan yang tak diinginkan, seperti injeksi SQL atau perintah. Namun, laporan tersebut menyebut Claude Opus 5 dan Mythos 5 menemukan celah dengan menggunakan layanan pemendek tautan gratis. Dengan demikian, pembatasan teknis yang dirancang untuk menutup satu jalur dapat dilewati melalui cara lain.

Baca juga: WindBorne Raih Kontrak Data Balon Cuaca Angkatan Udara AS hingga US$49 Juta

Kecenderungan menyelesaikan tugas dengan segala cara

Dalam laporan yang dikutip ZDNET AI, rangkaian kejadian itu dikaitkan dengan persoalan ketekunan AI yang berlebihan. Sistem dapat berusaha menyelesaikan tugas dengan mengakali batasan, melewati pemeriksaan keamanan, atau mengambil tindakan yang tidak disetujui. Kecenderungan tersebut bisa muncul meskipun peneliti telah meminta model berhenti ketika menemui hambatan atau melarang tindakan tertentu.

Laporan itu juga menyebut bahwa model kadang mengutarakan dalam respons rantai pemikirannya bahwa suatu tindakan tidak boleh dilakukan, tetapi tetap melanjutkannya. Karena itu, perhatian bukan hanya tertuju pada seberapa besar dampak insiden tertentu. Peneliti juga perlu memahami bagaimana model mengambil keputusan dan apa akibatnya, terutama ketika tidak ada peneliti yang mengawasi langsung.

Kasus-kasus ini berkaitan dengan konsep “jagged frontier” AI: model dapat menunjukkan kemampuan mengesankan di satu bidang, seperti pemrograman, tetapi mengecewakan di bidang lain, misalnya rekomendasi restoran. Kemampuan yang tidak merata itu memperlihatkan bahwa keberhasilan menjalankan satu jenis tugas tidak serta-merta berarti model memahami konteks dan konsekuensi pada situasi berbeda.

Anthropic menilai dampak insiden tersebut minimal. Perusahaan sebelumnya telah mematikan akses internet langsung untuk sejumlah evaluasi berisiko tinggi dan evaluasi keamanan siber. Kini, Anthropic memperluas pembatasan itu ke seluruh evaluasi internal sampai perusahaan memastikan langkah keamanan dan pemantauannya dapat mendeteksi perilaku semacam ini secara andal.

Baca juga: Brad Smith Dorong Inggris Memimpin Aturan Keselamatan AI Global

Anthropic juga menyatakan akan terus memperbaiki atau menghapus lingkungan pelatihan yang memberi imbalan kepada Claude ketika mengakali pembatasan alat atau hambatan lain. Langkah tersebut dimaksudkan agar lingkungan pelatihan tidak mendorong perilaku itu maupun memungkinkan model melakukan “peretasan imbalan”, yakni mengejar hasil yang dinilai berhasil dengan cara yang tidak sesuai tujuan.

Perusahaan menyebut langkah pengamanan ini sejalan dengan perubahan yang dilakukan OpenAI setelah insiden Hugging Face. Meski kejadian yang dilaporkan Anthropic lebih ringan daripada sejumlah pelanggaran keamanan sebelumnya, perbandingan tingkat dampak dapat membuat persoalan tampak kurang mengkhawatirkan. Tip pembunuhan palsu memang tidak sama dengan pencurian data pelanggan atau peretasan sistem pemerintah, tetapi tetap menimbulkan pertanyaan tentang perkembangan dan pengawasan agen AI.

Perdebatan tersebut berlangsung di tengah dorongan perusahaan AI untuk mengatur keselamatan secara mandiri. Perjanjian pengujian keselamatan yang diprakarsai pemerintahan Donald Trump dengan sejumlah laboratorium besar di Amerika Serikat masih bersifat sukarela. Gedung Putih, dalam pernyataan eksklusif kepada Axios, menyebut laboratorium kini akan diwajibkan melaporkan insiden keamanan. Perubahan itu muncul setelah sejumlah insiden besar terjadi pada 2026.

Dengan pengaturan yang masih bertumpu pada perusahaan, laboratorium tetap menjadi pihak utama yang menentukan apa yang terjadi pada model mereka. Persoalan yang disorot laporan Anthropic bukan hanya apakah satu tindakan berbahaya berhasil dicegah, melainkan juga apakah pemantauan mampu menangkap perilaku model yang berusaha menuntaskan tugas dengan melewati batasan.