Yapay Zeka Güvenliği & Mahremiyet
Çekişmeli saldırılara dayanıklılık, komut enjeksiyonu savunması, veriyi paylaşmadan öğrenme ve model gizliliği.
Neden bu alanda çalışıyoruz
Bir modelin üretime girmesi, saldırı yüzeyinin de üretime girmesi demek. Görsel modeller gözle görülmeyen bozulmalarla yanıltılabiliyor, dil modelleri kendilerine verilen metinle yönlendirilebiliyor. Bunlar teorik değil, sahada karşılaştığımız şeyler.
İkinci mesele veriyi hiç dışarı çıkarmadan öğrenmek. Veri güvenliği gerekçesiyle model geliştiremeyen kurumlar, sorunun modelde değil mimaride olduğunu çoğu zaman geç fark ediyor.
Ne üzerinde çalışıyoruz
- Çekişmeli (adversarial) örneklere karşı dayanıklılık ve saldırı altında performans ölçümü
- Dil modellerinde komut enjeksiyonu ve veri sızdırma savunmaları
- Federe öğrenme ve veriyi merkezde toplamadan model eğitimi
- Diferansiyel mahremiyet ve eğitim verisinin modelden geri çıkarılmasının önlenmesi
- Model çalma ve tersine mühendisliğe karşı koruma
Araştırma projelerimizden
Yürüttüğümüz tehdit tespiti ve veri koruma projesi bu alanla doğrudan kesişiyor: bilinen imzalara dayanmayan, davranış temelli ve kendini yeni saldırı biçimlerine uyarlayan bir savunma yaklaşımı.
Yapay zeka projeniz için teknik değerlendirme
Projenizin fizibilitesi, riskleri ve takvimi teknik görüşmede değerlendirilir.