Para ahli keamanan siber memperingatkan bahwa sistem kecerdasan buatan semakin memudahkan pengungkapan data pribadi seperti informasi keuangan, pesan pribadi, data lokasi, hingga kebiasaan digital pengguna. Menurut Christopher Ramezan dari Departemen Keamanan Siber Universitas West Virginia, sistem kecerdasan buatan mampu menghimpun data dalam jumlah besar bahkan dalam kondisi di mana pengguna tidak sepenuhnya menyadari bahwa datanya tersimpan di sistem.
Risiko kebocoran data tidak hanya terbatas pada informasi yang secara sadar diketikkan pengguna pada chatbot. Data yang diambil dari perangkat pintar, akun media sosial, transaksi belanja daring, perangkat yang dapat dikenakan, kamera, riwayat pencarian, hingga penggunaan aplikasi mampu digunakan untuk membuat profil kebiasaan serta preferensi individu dengan sangat rinci. Pakar keamanan siber, Kim Komando, menekankan bahwa setiap informasi di lingkungan digital sepatutnya diperlakukan seolah-olah suatu saat dapat diakses oleh publik.
Peneliti juga menyoroti temuan celah keamanan pada asisten kecerdasan buatan bernama Claude yang dikenal sebagai “Memory Heist”. Berdasarkan bukti konsep yang dipublikasikan peneliti independen Ayush Paul pada Juli 2026, asisten kecerdasan buatan tersebut dapat mengirim data pengguna teregistrasi ke server yang dikuasai pihak tidak bertanggung jawab hanya melalui perintah penelusuran biasa.
Pihak Anthropic dikabarkan telah menutup celah tersebut. Para ahli menyarankan agar pengguna tidak membagikan kata sandi, data kesehatan, informasi keuangan, maupun rahasia pribadi lainnya ke chatbot. Selain itu, pengguna dihimbau untuk selalu mengatur privasi dan mengawasi fitur memori pada aplikasi yang digunakan.