Penipuan Deepfake: Identitas Wanita India Dicuri untuk Konten AI Erotis

Hanya dibutuhkan waktu beberapa hari saja bagi selebritas Instagram Babydoll Archi untuk menggandakan pengikutnya menjadi 1,4 juta berkat beberapa momen viral di media sosial.

Salah satunya adalah video yang menampilkannya mengenakan sari berwarna merah, menari dengan gerakan menggoda mengikuti lagu "Dame Un Grr", sebuah lagu Rumania.

Selain itu, sebuah foto yang diunggah di akun media sosial tersebut menunjukkan dirinya berpose dengan bintang film dewasa Amerika Serikat, Kendra Lust.

Mendadak semua orang ingin tahu tentangnya. Nama Babydoll Archi sontak menjadi tren di Google Search, serta meme dan halaman penggemar bermunculan.

Tapi ada satu masalah muncul, tidak ada perempuan sejati di balik sensasi daring ini.

Akun Instagram Babydoll Archi ternyata palsu, meskipun wajah yang digunakannya sangat mirip dengan perempuan sungguhan seorang ibu rumah tangga di kota Dibrugarh di Assam, yang kita sebut sebagai Sanchi dalam artikel ini.

Kebenaran terungkap setelah saudara laki-lakinya melaporkan kejadian itu ke kepolisian. Mantan pacar Sanchi, Pratim Bora, akhirnya ditangkap.

Perwira polisi senior, Sizal Agarwal, yang memimpin penyelidikan kasus ini mengatakan kepada BBC bahwa Sanchi dan Bora berselisih dan tokoh AI yang dia ciptakan dimaksudkan untuk "membalas dendam" padanya.

Bora insinyur mesin dan penggemar kecerdasan buatan (AI) otodidak menggunakan foto pribadi Sanchi untuk membuat profil palsu, menurut Agarwal.

Bora kini ditahan dan belum memberikan pernyataan apa pun.

BBC telah menghubungi keluarganya dan akan memperbarui artikel ini jika mereka memberikan keterangan.

Ilustrasi yang menunjukkan pesan bertuliskan "AI kecerdasan buatan" di samping keyboard dan tangan robot (Reuters)

Babydoll Archi diciptakan pada 2020 dan unggahan pertamanya dilakukan pada Mei 2021. Foto-foto awal yang ditampilkan adalah foto aslinya yang telah diubah, kata Agarwal.

"Seiring berjalannya waktu, Bora menggunakan alat seperti ChatGPT dan Dzine untuk membuat sosok rekaan. Dia kemudian mengisi akun tersebut dengan foto dan video deepfake."

Akun tersebut mulai banyak mendapat sorotan sejak tahun lalu, namun baru mulai viral sejak April tahun ini, tambah Agarwal.

Sanchi tidak aktif di media sosial dan dia baru mengetahui akun tersebut setelah media arus utama mulai membuat profil Babydoll Archi, dengan menggambarkannya sebagai "seorang pemengaruh".

Sejumlah laporan menduga dia mungkin bergabung dengan industri pornografi AS mungkin yang pertama bagi seseorang dari negara bagian Assam.

Pengaduan polisi yang dilayangkan keluarga Sanchi pada 11 Juli disertai cetakan beberapa foto dan video sebagai bukti.

Agarwal mengatakan pengaduan itu tidak menyebutkan nama siapa pun karena mereka mengetahui siapa yang berada di balik sosok AI itu.

• Aitana Lopez, sosok influencer ciptaan AI yang menghasilkan puluhan juta rupiah per bulan
• Di balik kasus pornografi deepfake yang menyasar siswi di ratusan sekolah Korea Selatan
• DeepSeek: Chatbot AI asal China yang kalahkan popularitas ChatGPT

Babydoll Archi bukanlah nama yang asing bagi polisi. Agarwal bilang pihaknya juga melihat laporan media dan komentar yang berspekulasi bahwa Archi adalah hasil rekayasa AI, tetapi tidak ada indikasi bahwa Archi didasarkan pada orang sungguhan.

Setelah menerima pengaduan, polisi menulis surat ke Instagram dan menanyakan rincian pembuat akun tersebut.

"Setelah menerima informasi dari Instagram, kami bertanya kepada Sanchi apakah dia kenal Pratim Bora. Setelah dia memberikan konfirmasi, kami melacak alamatnya di distrik tetangga, Tinsukia. Kami menangkapnya pada 12 Juli malam."

Agarwal bilang polisi telah "menyita laptop, telepon seluler, dan perangkat keras serta dokumen bank karena dia telah memonetisasi akun tersebut".

"Akun itu punya 3.000 langganan di Linktree dan kami yakin dia telah menghasilkan 1 juta rupee darinya. Kami yakin dia menghasilkan 300.000 rupee hanya dalam lima hari sebelum penangkapannya," tambahnya.

Foto dan video perempuan sering disebarkan sebagai bentuk balas dendam (Getty Images)

Agarwal mengatakan Sanchi "sangat terpukul", tapi kini dia dan keluarganya menerima konseling dan keadaan mereka membaik".

Sebenarnya tidak ada cara untuk mencegah hal seperti ini terjadi, "tapi jika kita bertindak lebih awal, kita bisa mencegahnya menyebar luas", kata Agarwal.

"Tapi Sanchi tidak tahu karena dia tidak punya akun media sosial. Keluarganya juga diblokir oleh akun in. Mereka baru tahu setelah viral." tambahnya.

Meta belum menanggapi pertanyaan BBC terkait kasus ini, namun secara umum platform ini tidak mengizinkan konten seksual.

Bulan lalu, CBS melaporkan Meta telah menghapus sejumlah iklan yang mempromosikan perangkat AI yang digunakan untuk membuat deepfake dengan konten seksual menggunakan gambar orang sungguhan.

Akun Instagram Babydoll Archi, yang memiliki 282 unggahan, kini tidak lagi tersedia untuk umum meskipun media sosial dipenuhi foto dan videonya, dan satu akun Instagram tampaknya menyimpan semuanya.

BBC telah bertanya kepada Meta tentang rencana mereka terkait hal ini.

Meghna Bal, pakar AI dan pengacara, mengatakan apa yang terjadi pada Sanchi "mengerikan tetapi hampir mustahil dicegah".

• 'Rasanya seperti selingkuh, tapi saya membutuhkannya' Perempuan China dan kisah cinta mereka dengan AI
• Para pedofil gunakan teknologi AI untuk membuat materi pelecehan seksual anak
• Apa itu kecerdasan buatan, seberapa berbahaya, dan pekerjaan apa yang terancam olehnya?

Dia dapat memproses kasus ini ke pengadilan dan pengadilan dapat memerintahkan laporan pers yang mencantumkan namanya untuk dihapus, tetapi sulit untuk menghapus semua jejak dari internet.

Apa yang terjadi pada Sanchi, katanya, adalah apa yang selalu terjadi pada perempuan yang kerap kali foto dan video mereka disebarkan sebagai balas dendam.

"Sekarang jauh lebih mudah dilakukan berkat AI, tetapi insiden seperti itu masih belum sesering yang kita perkirakan atau mungkin kurang dilaporkan karena stigma atau orang yang menjadi target mungkin tidak mengetahuinya seperti dalam kasus ini," ujar Bal.

Dan orang-orang yang menyaksikannya tidak terdorong untuk melaporkannya ke platform media sosial atau portal kejahatan siber, tambahnya.

Dalam pengaduan mereka terhadap Bora, polisi telah menggunakan pasal-pasal hukum yang mengatur pelecehan seksual, penyebaran materi cabul, pencemaran nama baik, pemalsuan untuk merusak reputasi, penipuan dengan cara pemalsuan identitas, dan kejahatan siber.

Jika terbukti bersalah, Bora dapat dijatuhi hukuman hingga 10 tahun penjara.

Kasus yang juga menyebabkan kemarahan publik di media sosial dalam beberapa hari terakhir ini telah mendorong beberapa pihak untuk mencari hukum yang lebih keras guna menangani kasus semacam ini.

Bal yakin sudah ada cukup undang-undang untuk menangani kasus seperti itu, tetapi apakah ada ruang untuk undang-undang baru untuk menangani perusahaan AI generatif harus diperhatikan.

"Namun kita juga harus ingat bahwa deepfake belum tentu buruk dan undang-undang harus disusun dengan cermat karena deepfake dapat digunakan sebagai senjata untuk mengekang kebebasan berbicara."

• Kesaksian guru-guru Korea Selatan yang jadi korban pornografi deepfake 'Saya depresi, harus minum lima pil sehari'
• Kecerdasan buatan menghabiskan pasokan air minum kita, buat apa?
• Dari chatbot hingga mainan pintar Mengapa AI berkembang begitu pesat di China?

Simak juga Video: Darurat Deepfake Porno di Korea Selatan