Ajanları üretime almadan önce: güvenlik bariyerleri

Bir dil modelinin metin üretmesiyle sizin adınıza işlem yapması arasındaki fark, mühendislik açısından bir kategori farkı. İlkinde en kötü ihtimalle yanlış bir cümle okuyorsunuz; ikincisinde geri alınamayan bir işlem gerçekleşiyor.

Kurumların bu alanda en çok sorduğu soru şu: bu sistem yanlış yaparsa ne olur? Aşağıdaki çerçeve bizim bu soruya verdiğimiz cevabın iskeleti.

Önce sınıflandırma: geri alınabilir mi?

Ajanın kullanabileceği her aracı üç kutuya ayırıyoruz.

Okuma araçları. Veri getiriyor, hiçbir şeyi değiştirmiyor. Bunlar serbest çalışabilir; hatanın maliyeti yanlış bilgiyle devam etmek, o da bir sonraki adımda yakalanabiliyor.

Geri alınabilir yazma araçları. Taslak oluşturma, etiket ekleme, kayıt güncelleme. Bir hata olduğunda önceki duruma dönülebiliyorsa araç bu kutuda. Bunları da otomatik bırakıyoruz ama her işlemin öncesindeki durumu saklıyoruz.

Geri alınamaz araçlar. E-posta gönderme, ödeme başlatma, kayıt silme, dış sisteme yazma. Buradaki hiçbir işlem insan onayı olmadan çalışmıyor. İstisna yok — "genelde doğru yapıyor" argümanı bu kutuda geçerli değil.

Bu sınıflandırma teknik değil, iş kararı. Hangi aracın hangi kutuda olduğunu müşteriyle birlikte belirliyoruz ve yazılı hâle getiriyoruz.

Onay noktası nereye konur

Yaygın hata, onayı en sona koymak: ajan on adım çalışıyor, sonuçta "onaylıyor musunuz?" diye soruyor. Bu, onayı anlamsız kılıyor; kimse on adımlık bir zinciri geriye doğru doğrulamıyor.

Onay, geri alınamaz ilk işlemin hemen öncesine konur. Ondan önceki adımların hepsi otomatik çalışabilir. Onay ekranında gösterilen şey ajanın niyeti değil, yapılacak işlemin kendisi olmalı: hangi adrese, hangi içerik, hangi tutar.

İzin sınırları

Ajanın erişebildiği veri, görevin gerektirdiğiyle sınırlı olmalı. Pratikte bu şu anlama geliyor: ajan kurumun tüm veritabanına değil, o görev için açılmış dar bir görünüme bağlanıyor. Yetki genişletmek gerekiyorsa bu ayrı bir karar, ajanın kendi kararı değil.

İkinci sınır zaman. Bir ajan oturumunun ne kadar süreyle ve kaç adım çalışabileceği baştan tanımlanıyor. Sonsuz döngüye giren bir ajan, hatalı bir ajandan daha pahalı olabiliyor.

Komut enjeksiyonu

Ajan dışarıdan gelen metni okuduğunda — bir e-posta, bir web sayfası, bir belge — o metin ajana talimat vermeye çalışabilir. Bu teorik bir risk değil, sahada karşılaştığımız bir şey.

Buna karşı tek bir savunma yeterli olmuyor. Uyguladıklarımız: dış içeriğin sistem talimatından ayrı bir kanalda tutulması, araç çağrılarının şema düzeyinde kısıtlanması, ve geri alınamaz işlemlerde zaten var olan insan onayı. Sonuncusu en güvenilir olanı — çünkü diğer ikisi atlatılabilir.

Ölçüm

Ajan sistemlerinde "doğruluk" tek bir sayı değil. Ölçtüklerimiz:

• Görevin baştan sona tamamlanma oranı
• Tamamlanan görevlerde adım sayısı (artıyorsa bir şey bozulmuş demek)
• Onaya düşen işlemlerin ne kadarının reddedildiği (yüksekse ajan yanlış şeyler öneriyor)
• Geri alınan işlem sayısı

Bu ölçümler sürümlenmiş bir görev setinde çalışıyor. Model değiştiğinde aynı setle tekrar ölçülüyor; regresyonu ancak böyle yakalıyoruz.

Özet

Ajan sistemlerinde asıl mühendislik problemi modelin zekası değil, yetkinin nerede durduğu. Yukarıdaki çerçevenin tamamı tek bir cümleye iniyor: sistemin yapabileceği en kötü şeyi önceden tanımlayın, sonra onu imkânsız kılın.