Yetkisi olmayan bir eylem gerçekleştirmeye çalışan veya şüpheli bilgiler üreten bir AI Çalışanı ile karşılaşırsam ne yapmalıyım?
AI Çalışanları, yapılandırılmış talimatlar, bilgiler, entegrasyonlar ve desteklenen yetenekler kullanarak iş operasyonlarına yardımcı olabilir.
Beklenmedik AI davranışları, yapılandırma sorunları, hatalı üretilen içerikler, uygun olmayan talimatlar, entegrasyon sorunları veya istem manipülasyonu girişimlerinden kaynaklanabilir.
Her beklenmedik yanıt bir güvenlik ihlali anlamına gelmez.
Ancak, potansiyel olarak yetkisiz eylemler araştırılmalıdır.
Şüpheli davranış örnekleri nelerdir?
1. Bir AI Çalışanı, belirlenen sorumluluklarının dışında bir işlem yapmaya çalışır.
2. İlgisiz bilgilere erişim talep eder.
3. Gizli verileri içeren bir içerik üretir.
4. Beklenmedik bir entegrasyonu kullanmaya çalışır.
5. Amaçlanan rolüyle çelişen güvensiz talimatlara yanıt verir.
6. Beklenmedik bir iş akışını tetikler.
7. Müşteriyle etkileşim sırasında iç bilgileri ifşa ediyormuş gibi görünür.
Ne yapmalıyım?
Adım 1: Zarara neden olabilecek etkileşimi veya işlemi durdurun.
Adım 2: İlgili AI Çalışanını kaydedin.
Adım 3: İlgili konuşma veya görev bağlamını not edin.
Adım 4: AI Çalışanının yapılandırılmış talimatlarını ve sorumluluklarını gözden geçirin.
Adım 5: Mevcut bilgi kaynaklarını ve entegrasyon erişimini gözden geçirin.
Adım 6: Mevcut olan ilgili yürütme veya iş birliği geçmişini inceleyin.
Adım 7: Yetkili bir yöneticiyi bilgilendirin.
Adım 8: Davranış yetkisiz erişim veya veri ifşası öneriyorsa Polyosync Destek ile iletişime geçin.
İstem enjeksiyonu nedir?
İstem enjeksiyonu, bir AI sistemini, mesajlar, belgeler, web içeriği veya diğer girdilerde yer alan güvensiz talimatlarla etkileme girişimidir.
Bu tür talimatlar, AI Çalışanını belirlenen sorumluluklarından saptırmaya çalışabilir.
İstem enjeksiyonu nasıl ele alınmalıdır?
Güvensiz içeriği yetkili talimatlar olarak muamele etmekten kaçının.
Hassas işlemler uygun teknik izinler ve yetkilendirme kontrollerine tabi olmalıdır.
Bir AI Çalışanı, sadece sorulduğu için başka bir müşterinin bilgilerine erişebilir mi?
Doğal dilde bir talep, yetki sağlamaz.
AI işlemleri, ilgili iş ve kaynak sınırları içinde kalmalıdır.
AI Çalışanı özel verilere erişim hakkında yanlış bir iddia üretirse ne olur?
AI sistemleri yanlış ifadeler üretebilir.
İddia, doğru olduğu varsayılmadan mevcut kanıtlar kullanılarak araştırılmalıdır.
Önerilen uygulama
AI Çalışanlarının sorumluluklarını net bir şekilde tanımlayın, gereksiz entegrasyonları kısıtlayın, beklenmedik davranışları gözden geçirin ve hassas işlemlere insan gözetimi uygulayın.