İçeriğe geç

Araştırma

Yapay Zeka Güvenliği & Mahremiyet

Çekişmeli saldırılara dayanıklılık, komut enjeksiyonu savunması, veriyi paylaşmadan öğrenme ve model gizliliği.

Yapay Zeka Güvenliği & Mahremiyet

Ne üzerinde çalışıyoruz

  1. 01Çekişmeli (adversarial) örneklere karşı dayanıklılık ve saldırı altında performans ölçümü
  2. 02Dil modellerinde komut enjeksiyonu ve veri sızdırma savunmaları
  3. 03Federe öğrenme ve veriyi merkezde toplamadan model eğitimi
  4. 04Diferansiyel mahremiyet ve eğitim verisinin modelden geri çıkarılmasının önlenmesi
  5. 05Model çalma ve tersine mühendisliğe karşı koruma

Neden bu alanda çalışıyoruz

Bir modelin üretime girmesi, saldırı yüzeyinin de üretime girmesi demek. Görsel modeller gözle görülmeyen bozulmalarla yanıltılabiliyor, dil modelleri kendilerine verilen metinle yönlendirilebiliyor. Bunlar teorik değil, sahada karşılaştığımız şeyler.

İkinci mesele veriyi hiç dışarı çıkarmadan öğrenmek. Veri güvenliği gerekçesiyle model geliştiremeyen kurumlar, sorunun modelde değil mimaride olduğunu çoğu zaman geç fark ediyor.

Araştırma projelerimizden

Yürüttüğümüz tehdit tespiti ve veri koruma projesi bu alanla doğrudan kesişiyor: bilinen imzalara dayanmayan, davranış temelli ve kendini yeni saldırı biçimlerine uyarlayan bir savunma yaklaşımı.