Masalah aplikasi AI nudify di toko aplikasi besar ternyata bukan semata soal konten yang kontroversial. Yang lebih mengkhawatirkan, sebagian aplikasi ini masih lolos dengan label usia “E” untuk Everyone, sehingga secara teori bisa diakses pengguna dari berbagai umur, termasuk anak-anak.
Temuan tersebut kembali menyoroti celah moderasi di Google Play Store dan Apple App Store. Laporan Tech Transparency Project, yang dikutip Android Police melalui Engadget, menyebut aplikasi yang mampu mengubah foto biasa menjadi gambar telanjang palsu itu masih ditemukan di kedua platform tersebut.
Aplikasi yang tampak seperti editor biasa
Secara fungsi, aplikasi nudify bekerja seperti editor gambar berbasis AI generatif. Aplikasi ini bisa menghapus bagian tertentu dari foto lalu menambahkan detail baru agar hasilnya tampak meyakinkan.
Persoalannya muncul ketika kemampuan itu dipakai untuk mengubah foto seseorang menjadi citra pornografis tanpa persetujuan. Risiko ini makin besar karena gambar awal yang dipakai tidak harus berisi unsur seksual sama sekali.
Sorotan pada label usia
Tech Transparency Project menyebut ada 31 aplikasi yang dinilai tidak ditinjau dengan memadai, tetapi tetap diberi rating “E” untuk semua orang. Label semacam itu membuat aplikasi lebih mudah muncul di hasil pencarian dan lebih gampang dijangkau pengguna muda.
Di titik ini, masalahnya tidak berhenti pada keberadaan aplikasi di toko digital. Cara platform memberi klasifikasi usia ikut dipertanyakan karena menjadi gerbang awal yang menentukan seberapa luas aplikasi bisa menyebar ke publik.
Laporan tersebut juga menggambarkan skala dampaknya sebagai sesuatu yang besar. Aplikasi yang diteliti disebut telah menghasilkan sekitar $122 million dan diunduh hampir 500 juta kali.
Respons dari Google dan Apple
Setelah temuan itu mencuat, Google menyatakan banyak aplikasi yang disebut dalam laporan sudah dihapus dari Play Store. Apple juga disebut telah menghapus sejumlah aplikasi serupa, meski pada awalnya belum memberi penjelasan publik secara rinci.
Dalam pembaruan yang dimuat Android Police, Apple kemudian menegaskan bahwa aplikasi nudification melanggar pedoman App Store. Perusahaan itu juga mengatakan banyak aplikasi semacam itu sudah dihapus, termasuk beberapa yang belum sempat dipublikasikan.
Apple menambahkan bahwa pihaknya telah memblokir banyak istilah pencarian yang tercantum dalam laporan Tech Transparency Project. Apple juga menyebut bisa memblokir lebih banyak istilah terkait, sambil menggunakan AIML untuk membantu meningkatkan keselamatan pengguna.
Dampak yang lebih luas dari deepfake seksual
Ancaman dari aplikasi ini tidak berhenti pada pelanggaran kebijakan platform. Teknologi tersebut dapat memperbesar risiko deepfake seksual yang bisa dipakai untuk mempermalukan, mengintimidasi, atau mengeksploitasi korban.
Situasinya menjadi lebih sensitif karena distribusinya berlangsung di toko aplikasi umum yang mudah diakses publik. Dalam kondisi seperti ini, remaja dan anak-anak ikut berada dalam lingkaran paparan, baik sebagai pengguna maupun sebagai pihak yang berpotensi menjadi korban.
Android Police menilai potensi bahayanya sangat tinggi. Kekhawatiran itu juga diperkuat oleh laporan referensi yang menyebut pemerintah Inggris telah memulai upaya untuk melarang aplikasi seperti ini.
Tantangan moderasi yang belum selesai
Penghapusan aplikasi setelah ditemukan tidak otomatis menghapus masalah dari akarnya. Selama sistem penilaian usia, pencarian, dan distribusi masih bisa ditembus, aplikasi serupa tetap berpeluang muncul lagi dengan nama atau kemasan berbeda.
Besarnya unduhan dan pendapatan yang dihasilkan juga menunjukkan bahwa aplikasi seperti ini punya pasar yang nyata. Karena itu, tekanan terhadap Google Play Store dan platform lain kemungkinan akan terus mengarah pada moderasi yang lebih ketat, terutama untuk aplikasi edit foto berbasis AI yang bisa menghasilkan konten seksual non-konsensual.
Kasus ini memperlihatkan bahwa pertanyaan utamanya bukan hanya apakah aplikasi nudify perlu dihapus, tetapi juga bagaimana platform mampu mendeteksi, menilai, dan membatasi penyebarannya sejak awal agar anak-anak tidak ikut terpapar.
Source: www.androidpolice.com
