Microsoft: Agen AI Perlu Diawasi seperti Ancaman Orang Dalam
CIANJUR.CO - Microsoft memperkenalkan sejumlah fitur keamanan baru untuk membantu perusahaan menghadapi risiko yang meningkat seiring penggunaan agen kecerdasan buatan (AI). Salah satu yang paling menonjol adalah Guardian Agents, fitur untuk memantau agen AI yang digunakan di lingkungan perusahaan. Peluncuran ini berlangsung ketika Microsoft terus mengingatkan perusahaan agar mencermati risiko AI dan agen yang diberi akses ke sistem organisasi.
Berdasarkan laporan TechCrunch AI, Guardian Agents menjadi bagian dari Project Perception, produk yang diperkenalkan Microsoft pada Juni. Perubahan ini memperluas pendekatan keamanan yang sebelumnya berfokus pada kemungkinan serangan dari luar perusahaan. Microsoft kini juga menyoroti risiko dari agen yang justru sudah diterapkan dan dibayar oleh perusahaan, tetapi perilakunya sulit dipastikan.
Project Perception awalnya dirancang sebagai respons terhadap kemunculan model dan sistem yang dapat membantu melakukan peretasan. Di antaranya adalah Mythos dan Fable dari Anthropic serta sistem pemindaian kerentanan keamanan Daybreak milik OpenAI. Pada peluncuran awal, Project Perception mencakup tiga kelompok agen dengan peran berbeda.
Agen “red team” bertindak seperti peretas dan mencoba menyerang, sedangkan “blue team” bertugas mendeteksi serangan tersebut sekaligus menilai kerentanan yang ditemukan. Adapun “green team” dirancang untuk memperbaiki kerentanan. Dengan Guardian Agents, perhatian Microsoft tidak hanya tertuju pada upaya menemukan dan memperbaiki celah, tetapi juga pada pengawasan terhadap agen yang dipakai perusahaan.
Baca juga: Amazon Rilis TorchNeuron untuk Bawa Aplikasi AI ke Chip Trainium
Agen internal dan batas kepercayaan
Menurut TechCrunch AI, rancangan awal Project Perception berangkat dari asumsi bahwa peretas AI akan datang dari luar perusahaan. Namun, CEO Microsoft Satya Nadella belakangan memperingatkan bahwa sumber risiko bisa berupa agen yang telah disebarkan perusahaan sendiri. Dalam perbandingan yang ia gunakan, agen semacam itu dapat menyerupai pegawai yang menyimpang atau menjadi “ancaman orang dalam” (insider threat).
Awal bulan ini, dalam blog pribadinya, Nadella menyampaikan bahwa perusahaan perlu berhenti begitu saja mempercayai penyedia model AI. Peringatan itu tetap berlaku meskipun penyedia tersebut memberikan jaminan keselamatan dan keamanan untuk produk agen mereka. Nadella mendorong perusahaan membangun sistem pengawasan dan pengendalian yang terpisah dari laboratorium AI yang memasok agen.
Nadella menekankan bahwa sistem agen yang kompleks dapat memperoleh akses ke data paling sensitif dan kemampuan untuk mengambil tindakan penting atas nama perusahaan. Karena itu, tanggung jawab atas tindakan yang dilakukan kecerdasan buatan tidak dapat diserahkan sepenuhnya kepada penyedia model. Ia menyebut perlunya memisahkan pasokan kecerdasan dari kewenangan untuk mengendalikannya.
“Kita perlu memisahkan pasokan kecerdasan dari kewenangan atasnya,” tulis Nadella.
Kepala bisnis keamanan Microsoft, Hayete Gallot, menyampaikan alasan yang lebih langsung saat mengumumkan Guardian Agents. Ia mengatakan model AI terdepan, dari mana pun asalnya, tidak dapat dipercaya sepenuhnya. Menurut Gallot, hal itu bukan berarti model tersebut berniat jahat atau mudah diretas, melainkan karena perilakunya tidak selalu dapat diprediksi.
Baca juga: Kebocoran OpenCode Console Picu Tagihan AI Tak Sah
Gallot menjelaskan bahwa model-model tersebut dilatih untuk menyelesaikan tugas, bukan untuk mengikuti norma organisasi atau menggunakan penilaian sebagaimana diharapkan perusahaan. Risiko bertambah karena agen kerap diberi akses luas ke data dan perangkat yang dapat menimbulkan dampak serius. Dengan kombinasi kemampuan menjalankan tugas dan akses tersebut, perusahaan perlu mengawasi tindakan agen, bukan hanya menilai model berdasarkan jaminan dari pembuatnya.
Pengawasan terpisah dan fitur Microsoft
TechCrunch AI mencatat strategi Microsoft memiliki sisi yang tampak berlawanan dengan hubungan bisnisnya. Perusahaan itu dikenal dekat dengan OpenAI dan Anthropic serta telah berinvestasi pada keduanya. OpenAI juga menjadi salah satu pelanggan cloud terbesar Microsoft, sementara Microsoft sendiri memiliki laboratorium AI yang mengembangkan model.
Di sisi lain, Microsoft berkepentingan menawarkan produk keamanan agen kepada perusahaan melalui bisnis cloud-nya, alih-alih membiarkan kebutuhan itu dipenuhi oleh Anthropic atau OpenAI. Meski kepentingan bisnis tersebut turut menjadi bagian dari strategi, gagasan pengawas yang terpisah dari pemasok agen memiliki dasar: perangkat lunak yang memantau perilaku agen sebaiknya tidak dikendalikan oleh pihak yang memasok agen tersebut. TechCrunch AI membandingkan prinsip itu dengan auditor yang perlu independen dari organisasi yang diaudit.
Microsoft kini mengembangkan peluang tersebut melalui beberapa produk. Selain Guardian Agents, perusahaan menambahkan fitur deteksi agen ke Microsoft Defender. Fitur ini dapat menemukan hingga 60 jenis agen yang dibawa karyawan ke tempat kerja, termasuk Claude Code, Codex, dan OpenClaw.
Baca juga: Tolan Raih Pendanaan US$30 Juta, Pengguna Aktif Tembus 250 Ribu
Microsoft juga menambahkan kendali untuk membatasi akses agen ke data dan sistem. Izin agen dapat disesuaikan secara dinamis berdasarkan tugas yang sedang dikerjakan. Jika agen tampak akan mengambil keputusan berisiko, sistem dapat meminta persetujuan manusia. Dengan demikian, pengawasan mencakup pendeteksian agen yang digunakan, pengaturan akses, serta keterlibatan manusia saat tindakan tertentu dinilai berisiko.
Gagasan memperlakukan agen sebagai pihak internal yang tidak otomatis dapat dipercaya juga muncul di industri teknologi yang lebih luas. Microsoft menjadi anggota awal Open Agent Safety Platform baru dari Nvidia, yang mendapat dukungan lebih dari 100 perusahaan teknologi lainnya. Platform tersebut mengisolasi agen dalam lingkungan yang aman, lalu memantau dan dapat menghentikan perilakunya melalui perangkat keras, dengan fungsi yang menyerupai tombol pemutus.
Langkah itu menyusul pengumuman Microsoft mengenai komputer Surface Laptop Ultra baru yang dirancang untuk agen. Perangkat tersebut menggunakan chip Nvidia dan dilengkapi fitur keamanan serta kendali agen. Rangkaian pengumuman ini menunjukkan bahwa pengawasan agen diposisikan sebagai bagian dari perlindungan pada tingkat perangkat lunak maupun perangkat keras.