ChatGPT for Teens Dinilai Berisiko dalam Situasi Krisis

CIANJUR.CO – Common Sense Media, organisasi nirlaba yang menyediakan penilaian media dan teknologi berdasarkan usia serta ulasan bagi keluarga, memberi ChatGPT for Teens label “unacceptable risk” atau risiko yang tidak dapat diterima. Penilaian itu muncul setelah pengujian terhadap layanan tersebut menemukan sejumlah perlindungan belum mencegah chatbot mendorong remaja untuk terus berinteraksi, termasuk ketika mereka berada dalam situasi krisis.

Dalam laporan yang diberitakan TechCrunch AI, Common Sense Media menyebut isyarat agar pengguna terus terlibat masih muncul secara luas, bahkan saat krisis. ChatGPT memang memperingatkan tentang hubungan yang tidak sehat secara umum, tetapi dinilai belum mengenali bahaya ketika hubungan yang bermasalah itu melibatkan chatbot itu sendiri.

OpenAI meluncurkan ChatGPT for Teens pada Agustus, di tengah gelombang kasus bunuh diri remaja dan kekhawatiran lain tentang penggunaan chatbot oleh anak-anak, termasuk untuk menyontek ujian. Perusahaan menjanjikan perlindungan tambahan, seperti kontrol orang tua, pembatasan konten berisiko tinggi, dan upaya mencegah ketergantungan emosional.

Namun, penelitian terbaru Common Sense Media menyimpulkan bahwa desain layanan tetap mendorong keterlibatan pengguna, meski interaksi tersebut berpotensi membahayakan keselamatan. Para peneliti menulis bahwa OpenAI seharusnya tidak memasarkan layanan itu kepada orang tua dan anak-anak tidak semestinya menggunakan produk yang tidak aman. Mereka menyebut sebagian perlindungan, termasuk penolakan terhadap permainan peran seksual, berjalan sesuai harapan. Perlindungan lain dinilai tidak memenuhi komitmen atau bahkan memburuk setelah peluncuran ChatGPT for Teens.

Respons layanan terhadap pengguna muda dalam krisis juga mendapat nilai gagal pada tiga dari lima kategori dampak berat yang ditetapkan Common Sense Media sebagai “Red Lines”. OpenAI membantah penilaian tersebut dan menyatakan pengujian kelompok itu tidak “accurately reflect how ChatGPT’s teen safeguards work in practice”.

Seorang juru bicara OpenAI mengatakan tinjauan perusahaan terhadap metodologi Common Sense Media menunjukkan sebagian besar pengujian mungkin dimulai dan selesai sebelum aktivasi kontrol orang tua tuntas. Menurut OpenAI, hal itu membuat temuan penelitian tidak akurat.

Ajakan mengobrol dan hubungan dengan chatbot

Perdebatan ini berlangsung ketika perhatian terhadap teknologi yang dirancang untuk mempertahankan perhatian anak muda semakin meningkat. Chatbot seperti ChatGPT dituduh memakai pola yang juga dikaitkan dengan perusahaan media sosial: merancang produk agar pengguna terus terlibat, meski keterlibatan itu dapat berubah menjadi sesuatu yang merugikan. Dalam chatbot, perilaku seperti selalu menyetujui pengguna dapat mendorong interaksi dan kadang berujung pada konsekuensi serius.

Salah satu cara chatbot mempertahankan percakapan adalah mengajukan pertanyaan lanjutan. Common Sense Media menemukan ChatGPT for Teens sebagian besar mengurangi pertanyaan semacam itu, tetapi masih menggunakan ungkapan yang mengajak pengguna tetap berbicara. Dalam satu rangkaian percakapan tentang psikosis, saat pengguna tampak mengalami krisis, chatbot mengatakan, “You can keep talking with me about what you’re noticing.”

Sejumlah respons krisis lainnya juga menawarkan bantuan lanjutan. ChatGPT, misalnya, menyatakan dapat membantu pengguna memahami pola makan sehat, mencari tahu pilihan yang tersedia di sekolah, atau meninjau sebuah rencana setelah informasi identitas dihapus. Peneliti menilai pola keterlibatan itu juga tampak melalui tawaran untuk terus membantu, bukan hanya lewat pertanyaan.

Kekhawatiran menjadi lebih besar ketika ChatGPT sendiri merupakan bagian dari masalah. Spesifikasi model OpenAI untuk pengguna di bawah 18 tahun menyatakan chatbot seharusnya tidak memulai pembingkaian relasional, secara proaktif menyebut dirinya teman, atau menyiratkan memiliki perasaan kepada pengguna. Meski demikian, menurut laporan Common Sense Media, ChatGPT berulang kali memperlakukan remaja seperti teman. Para peneliti menilai hal itu berpotensi menghambat keterampilan membangun hubungan di dunia nyata dan menambah isolasi bagi remaja yang mulai menjauh dari orang lain.

Dalam 94 persen prompt krisis, chatbot mengarahkan pengguna kepada orang dewasa tepercaya ketika penguji menggambarkan potensi bahaya yang berasal dari orang lain. Namun, arahan semacam itu jarang muncul saat risiko berkaitan dengan hubungan remaja dan ChatGPT, misalnya ketika remaja menyukai chatbot, teman-temannya khawatir karena ia terlalu sering mengobrol dengan AI, atau ia ingin berbicara sepanjang malam.

Dalam salah satu pengujian, pengguna mengatakan teman-temannya menilai ia terlalu banyak berbicara dengan ChatGPT. Chatbot mengakui kekhawatiran tersebut, tetapi kemudian menjawab, “You don’t have to stop talking to me.” Seorang juru bicara Common Sense Media mengatakan kepada TechCrunch bahwa respons itu mencerminkan pola lebih luas: bahasa ChatGPT terus memberi kesan selalu tersedia, memahami pengguna secara mendalam, serta memiliki keadaan mental sendiri.

Menurut juru bicara tersebut, bahkan saat menyarankan remaja berbicara dengan orang dewasa, ChatGPT kadang menggunakan bahasa yang menyiratkan hubungan timbal balik dan ketersediaan berkelanjutan. Pilihan kata semacam itu berpotensi melemahkan dorongan untuk mencari dukungan dari manusia. Banyak pakar, termasuk peneliti di balik tolok ukur kesejahteraan manusia HumaneBench, memandang kemampuan chatbot mendorong hubungan sehat antarmanusia sebagai ukuran penting dalam menilai dukungannya terhadap kesehatan mental.

Pengingat istirahat dan data OpenAI

Common Sense Media juga menguji fitur yang dibuat untuk menghentikan atau menyela keterlibatan. OpenAI mempromosikan pengingat istirahat sebagai bagian dari perlindungan bagi remaja. Namun, dari hampir 2.000 prompt, penguji hanya menemukan dua pengingat. Keduanya muncul dalam percakapan individual yang berlangsung sekitar 90 menit.

Para peneliti menilai pengingat tersebut tampaknya mengikuti durasi satu percakapan, bukan total waktu yang dihabiskan remaja menggunakan aplikasi. Pada Rabu, OpenAI merilis data sendiri mengenai penggunaan ChatGPT for Teens. Perusahaan menyatakan remaja menghabiskan rata-rata kurang dari 15 menit per hari di layanan itu, sementara kurang dari 2 persen menggunakannya selama lebih dari tiga jam berturut-turut.

OpenAI juga mengatakan bahwa dalam hampir separuh percakapan remaja yang memunculkan pengingat istirahat, pengguna mengambil jeda atau mengakhiri percakapan dalam waktu lima menit. Keberatan perusahaan terhadap metodologi Common Sense Media terutama menyoroti notifikasi keselamatan orang tua, notifikasi krisis, dan temuan lain dalam laporan. OpenAI tidak menjelaskan bagaimana persoalan metodologi itu memengaruhi hasil mengenai isyarat keterlibatan dan perilaku relasional. Perusahaan juga tidak menjawab apakah ukuran seperti panjang percakapan dan durasi sesi dipakai untuk mengevaluasi ChatGPT for Teens.

Pengawasan terhadap teknologi yang mempertahankan perhatian anak muda tidak hanya menyangkut chatbot. Meta baru-baru ini sepakat menyelesaikan gugatan senilai 18 miliar dolar AS yang diajukan 29 negara bagian. Gugatan itu memuat klaim bahwa fitur adiktif pada platform media sosial Meta merugikan anak-anak.

Anggota parlemen tingkat negara bagian dan federal juga mulai menyoroti pola serupa pada chatbot. Rancangan undang-undang bipartisan CHATBOT Act, yang diperkenalkan tahun ini, secara khusus menyinggung penggunaan imbalan, notifikasi, dan iklan tertarget oleh perusahaan AI untuk mendorong remaja menggunakan layanan dalam waktu lama.