Cara Mencegah Kebocoran Data AI di Lintas Batas Organisasi
Kebocoran data AI bukanlah masalah tunggal. Hal itu adalah kumpulan mode kegagalan, masing-masing dengan mekanisme yang berbeda dan solusi yang berbeda. Karyawan yang menempelkan catatan pelanggan ke ChatGPT, model yang dilatih pada data milik perusahaan yang menghafal dan memuntahkannya kembali, layanan AI multi-tenant di mana data satu pelanggan merembes ke hasil pelanggan lain. Semua ini adalah kebocoran data, tetapi memerlukan strategi pencegahan yang fundamental berbeda.
Memahami mekanisme spesifik kebocoran data AI adalah titik awal untuk mencegahnya. OWASP Top 10 untuk Aplikasi LLM menempatkan prompt injection sebagai risiko nomor satu, dan beberapa entri lain pada daftar tersebut berhubungan langsung dengan kebocoran data. Organisasi yang memperlakukan kebocoran data AI sebagai risiko monolitik tunggal akan mengimplementasikan kontrol yang menangani beberapa vektor sambil meninggalkan yang lain terbuka lebar.
Kebocoran Saat Pelatihan
Ketika data sensitif dimasukkan dalam set pelatihan model AI, model dapat menghafal dan kemudian mereproduksi data tersebut. Ini bukan kekhawatiran teoretis. Riset telah menunjukkan bahwa model bahasa yang dilatih pada dataset yang berisi informasi pribadi dapat dipancing untuk menghasilkan alamat email individu tertentu, nomor telepon, dan data pribadi lainnya yang muncul dalam korpus pelatihan.
Risikonya diperkuat ketika organisasi melakukan fine-tuning model dasar pada data milik perusahaan. Jika Anda melakukan fine-tuning model pada email internal perusahaan, kontrak, dan komunikasi pelanggan, model itu sekarang berisi representasi yang dapat diekstrak dari informasi sensitif tersebut. Siapa pun yang memiliki akses ke model, termasuk karyawan yang seharusnya tidak memiliki akses ke kategori data tertentu, berpotensi dapat mengekstraknya melalui prompt yang dirancang dengan cermat.
Pencegahan dimulai pada pipeline data. Sebelum data apa pun memasuki proses pelatihan atau fine-tuning, data harus melalui pemindaian otomatis untuk informasi yang dapat mengidentifikasi pribadi, data keuangan, kredensial autentikasi, dan kategori sensitif lainnya. Masking data dan anonimisasi harus diterapkan sebelum pelatihan, bukan setelahnya. Dan organisasi harus memelihara catatan yang jelas tentang data apa yang digunakan untuk melatih setiap model, karena Anda tidak dapat menilai eksposur Anda jika tidak tahu apa yang masuk.
Kebocoran Saat Inferensi
Bahkan ketika model dilatih dengan bertanggung jawab, data dapat bocor selama inferensi. Serangan prompt injection memanipulasi perilaku model dengan menyematkan instruksi berbahaya di dalam input. Penyerang mungkin menyusun prompt yang menyebabkan model mengungkap prompt sistemnya (yang sering berisi logika bisnis dan kredensial akses), melewati filter keamanan, atau mengeksfiltrasi data yang dapat diakses model melalui integrasinya.
Permukaan serangan tumbuh secara signifikan ketika agen AI memiliki akses ke alat dan sumber data eksternal. Agen yang terhubung ke basis data, sistem email, dan repositori dokumen dapat dimanipulasi untuk meminta data dari sistem-sistem tersebut yang tidak diotorisasi untuk dilihat oleh pengguna dan menyertakan data tersebut dalam responsnya. Agen melakukan persis apa yang dirancang untuknya, mengakses informasi untuk menjawab pertanyaan, tetapi pertanyaannya dirancang untuk menyalahgunakan kemampuan tersebut.
Penyaringan output adalah pertahanan utama di sini. Setiap respons yang dihasilkan oleh sistem AI harus dipindai sebelum mencapai pengguna. Alat pencegahan kehilangan data harus memeriksa pola yang menunjukkan data sensitif: nomor jaminan sosial, nomor kartu kredit, kunci API, pengenal dokumen internal. Pemindaian harus terjadi pada lapisan aplikasi, bukan hanya pada perimeter jaringan, karena kebocoran terjadi dalam saluran komunikasi yang sah antara sistem AI dan penggunanya.
Eksposur Lintas-Tenant
Organisasi yang menggunakan layanan AI bersama, baik LLM yang di-host cloud, produk SaaS berbasis AI, atau platform AI terkelola, menghadapi risiko eksposur data lintas-tenant. Hal ini terjadi ketika data dari sesi satu pelanggan merembes ke hasil pelanggan lain, biasanya karena caching yang salah konfigurasi, ruang memori bersama, atau jendela konteks yang cakupannya tidak tepat.
Kebocoran lintas-sesi adalah kerentanan yang terdokumentasi dalam sistem AI multi-tenant. Hal itu terjadi ketika arsitektur AI gagal mengisolasi data sesi dengan benar, memungkinkan informasi sensitif dari interaksi satu pengguna muncul dalam sesi pengguna lain. Akar penyebabnya berkisar dari toko embedding bersama yang mencampur data pelanggan hingga lapisan caching yang tidak mempartisi dengan benar berdasarkan tenant.
Pertahanannya memerlukan isolasi data yang ketat pada tingkat infrastruktur. Setiap pelanggan atau tenant harus memiliki namespace atau instans yang terpisah. Basis data embedding harus dipartisi dengan batas yang keras, bukan hanya pemisahan logis. Dan konteks sesi harus dibersihkan secara eksplisit antar interaksi, dengan verifikasi bahwa tidak ada data sisa yang bertahan.
Vektor Karyawan
Mungkin sumber kebocoran data AI yang paling umum adalah yang paling sederhana: karyawan memasukkan informasi sensitif ke dalam alat AI. Riset menunjukkan bahwa 15% karyawan menempelkan informasi sensitif ke LLM publik, dan 26% file yang diunggah ke layanan AI berisi data sensitif. Sementara itu, 83% organisasi tidak memiliki kontrol otomatis untuk mencegah data sensitif memasuki alat AI publik.
Ini adalah masalah tata kelola dan tooling sama seperti masalah pelatihan. Karyawan menggunakan alat AI publik karena alat tersebut produktif, dan banyak organisasi belum menyediakan alternatif yang disetujui. Solusinya bukan hanya menyuruh karyawan berhenti. Solusinya adalah menyediakan alat AI yang disetujui dengan kontrol keamanan yang sesuai, mengimplementasikan blok tingkat jaringan pada layanan AI yang tidak diotorisasi, dan menerapkan pemantauan endpoint yang menandai ketika data sensitif sedang disalin ke antarmuka AI.
Membangun Pertahanan Berlapis
Pencegahan kebocoran data AI yang efektif memerlukan kontrol pada beberapa lapisan.
Pada lapisan data: klasifikasikan dan beri tag pada data sensitif, implementasikan pemindaian otomatis dalam pipeline pelatihan AI, terapkan masking dan anonimisasi sebelum data memasuki sistem AI.
Pada lapisan model: evaluasi model untuk risiko hafalan, implementasikan kontrol akses pada artefak model, uji kerentanan ekstraksi data sebelum penerapan.
Pada lapisan aplikasi: terapkan penyaringan output dan pemindaian DLP pada semua respons yang dihasilkan AI, implementasikan deteksi prompt injection, tegakkan isolasi sesi di lingkungan multi-tenant.
Pada lapisan jaringan: blokir layanan AI yang tidak diotorisasi, pantau aliran data ke dan dari endpoint AI, catat semua interaksi dengan sistem AI untuk tujuan audit.
Pada lapisan manusia: latih karyawan tentang penanganan data dengan alat AI, sediakan alternatif yang disetujui untuk layanan AI publik, tetapkan kebijakan yang jelas tentang data apa yang dapat dan tidak dapat dibagikan dengan sistem AI.
Tidak ada lapisan tunggal yang cukup. Model yang telah dilatih dengan cermat pada data bersih masih bisa membocorkan informasi melalui prompt injection. Filter output yang menangkap nomor jaminan sosial akan melewatkan logika bisnis milik perusahaan yang tertanam dalam respons. Pertahanan harus berlapis karena permukaan serangan luas dan mode kegagalan bervariasi.
Organisasi yang menanggapi serius kebocoran data AI akan menemukan bahwa sebagian besar kontrol yang diperlukan dibangun di atas praktik keamanan yang ada. Klasifikasi data, DLP, kontrol akses, dan pelatihan karyawan semuanya merupakan disiplin yang sudah mapan. Yang berubah dengan AI adalah kecepatan dan skala data yang dapat berpindah, dan vektor baru yang melaluinya data dapat lolos. Mengadaptasi program keamanan Anda yang ada untuk memperhitungkan perbedaan-perbedaan tersebut adalah pekerjaan yang penting.