Bir makine öğrenmesi modeli düşünün: aylarca temizlenmiş, etiketlenmiş veriyle eğitildi, production’a alındı ve artık milyonlarca karar veriyor. Peki ya eğitim verisinin yüzde ikisi bilerek bozulmuşsa? Model hâlâ çalışıyor, hâlâ güven veriyor ama sistematik olarak yanlış sonuçlar üretiyor. Bu, veri zehirleme saldırısının özüdür — görünmez, geç fark edilen ve tahribatı çoğunlukla geri dönülemez.
Saldırı Nasıl İşliyor?
Veri zehirleme (data poisoning), bir modelin eğitim veri kümesini hedef alır. Saldırgan, eğitim sürecine zararlı örnekler enjekte eder. Bu örnekler iki farklı amaç güdebilir: birincisi modelin genel doğruluğunu düşürmek, ikincisi çok daha sinsi olan arka kapı (backdoor) yerleştirmek — model belirli bir tetikleyici girdiyle karşılaştığında önceden programlanmış bir çıktı üretir.
2019’da UC Berkeley’deki araştırmacılar, bir spam filtresi modelini sadece eğitim verisinin %3’ünü değiştirerek tam tersine çevirebildiklerini gösterdi. Model spam’i geçirmeye, meşru e-postaları ise engellemeye başladı. Kullanıcı bunu fark etmeden önce ortalama geçen süre: 11 gün.
Hangi Sistemler Risk Altında?
Her makine öğrenmesi sistemi potansiyel hedef olmakla birlikte, risk haritalanırken şu faktörler belirleyicidir:
- Açık veri kaynaklarından beslenme: Web scraping, Common Crawl veya kullanıcı katkılı veri setleri kullanan modeller (örneğin büyük dil modelleri) doğrudan maruz kalır.
- Sürekli yeniden eğitim: Gerçek zamanlı geri bildirimle güncellenen modeller — öneri sistemleri, dolandırıcılık tespiti — her güncelleme döngüsünde yeni saldırı yüzeyi açar.
- Üçüncü taraf veri tedariki: Dışarıdan satın alınan veya ortak kuruluşlardan gelen eğitim setleri, zincirin zayıf halkasıdır.
Arka Kapı Saldırıları: En Sessiz Tehdit
BadNets olarak bilinen ve 2017’de yayımlanan makalede tarif edilen teknik, görüntü tanıma modellerine arka kapı yerleştiriyor. Modeli eğitirken belirli piksel desenini (örneğin köşede küçük bir kare) “dur işareti” etiketiyle ilişkilendiriyorsunuz. Normal koşullarda model mükemmel çalışıyor; ama o piksel deseni bir trafik tabelasına eklendi mi, model tabelayı “dur” yerine “hız sınırı yok” diye okuyor.
Otonom araç sistemlerinde bu senaryonun gerçek dünya karşılığı yıkıcı olabilir. Daha yaygın tehdit ise kurumsal ortamlarda: kimlik doğrulama sistemlerine enjekte edilen backdoor, saldırganın seçtiği tetikleyici kimlikle her zaman geçiş yapmasını sağlar.
Tespit Yöntemleri
Veri zehirlemeyi tespit etmek, doğrudan engellemekten genellikle daha uygulanabilir. Üç yaklaşım öne çıkıyor:
Aktivasyon kümeleme (Activation Clustering): Model katmanlarının ara aktivasyonları incelenir. Zehirlenmiş örnekler, temiz örneklerden farklı kümelerde toplanır. Bu yöntemin başarı oranı, saldırıya dahil edilen örneklerin %5’in üzerinde olduğu durumlarda %85’i geçiyor.
STRIP (STRong Intentional Perturbation): Inference sırasında girdi örnekleri üzerine yüksek entropi gürültüsü ekleniyor. Backdoor tetikleyici içeren örnekler, bu gürültüye rağmen aynı çıktıyı vermeye devam eder. Temiz örnekler ise tutarsız davranır.
Veri seti sanitizasyonu: Eğitim öncesi her örneğin model üzerindeki bireysel etkisi ölçülür. Ortalamadan çok sapan örnekler işaretlenir. Hesaplama maliyeti yüksek ama en güvenilir önlem budur.
Savunma Katmanları
Teknik önlemlerin yanı sıra süreç düzeyinde kontroller de gerekli. Veri tedarik zincirini belgeleyin: hangi veri nereden geldi, kim etiketledi, hangi tarihte sisteme girdi? Model davranışını zaman içinde izleyin; doğruluk metriklerindeki ani değişimler, yeniden eğitim dönemlerine denk geliyorsa şüpheyle yaklaşın. Kritik uygulamalarda eğitim setini birden fazla bağımsız kaynaktan derleyin ve çapraz doğrulama yapın.
Federatif öğrenme ortamlarında — birden fazla tarafın kendi verisini merkezi bir modele katkıladığı yapılar — Byzantine-fault tolerant toplama algoritmaları (Krum, Bulyan) kötü niyetli katılımcıların model güncellemelerini reddeder. Bu algoritmalar mükemmel değil ama %20’ye kadar zehirlenmiş istemciye karşı dayanıklılık sunuyor.
Şirketlerin Gözden Kaçırdığı Nokta
Birçok kuruluş veri güvenliğini “verinin nereden toplandığı” düzeyinde düşünüyor ve orada bırakıyor. Oysa risk, veri eğitim sürecine girdiğinde başlıyor ve model emekli edilene kadar devam ediyor. Eğitilmiş modelin kendisi de bir varlıktır — ve çoğu kuruluşta bu varlığın bütünlük denetimine dair hiçbir politika yok.
MLOps süreçlerine model bütünlük kontrolünü entegre etmek, veri hattına hash doğrulaması eklemek ve eğitim ortamına erişimi kısıtlamak bu boşluğu kapatır. Pahalı değil; sadece kasıtlı bir tasarım gerektiriyor.
