AI Agent Güvenliği: Yetki, Veri Erişimi ve Guardrail Tasarımı

AI agent güvenliği klasik chatbot güvenliğinden daha kritiktir çünkü agent yalnız cevap üretmek yerine kurumsal araçlara ve sistemlere erişebilir.

Bir modelin yanlış cevap vermesi ile yanlış müşteri kaydını değiştirmesi aynı risk seviyesinde değildir. Bu nedenle agent güvenliği tool ve veri erişim sınırları üzerinden tasarlanmalıdır.

Least Privilege

Agent yalnız görevini tamamlamak için gerekli minimum API, veri ve işlem yetkisine sahip olmalıdır.

Tek bir geniş yetkili servis hesabının tüm tool’larda kullanılması saldırı ve hata etkisini büyütebilir.

Kullanıcı Yetkisini Devralın

Agent kullanıcının adına işlem yapıyorsa kullanıcının erişemediği kaynağa agent da erişmemelidir.

Tool Allowlist

Model istediği endpoint’i serbestçe çağırmamalı; önceden tanımlanmış, şeması ve amacı bilinen tool’lar kullanılmalıdır.

Prompt Injection

Harici belge, web sayfası veya kullanıcı içeriğinde modele talimat vermeye çalışan metin bulunabilir. Retrieved content güvenilir sistem talimatı olarak kabul edilmemelidir.

Input ve Output Validation

Tool’a gönderilen parametreler schema ve business rule seviyesinde doğrulanmalı; model çıktısı doğrudan kritik komuta dönüştürülmemelidir.

Approval

Para transferi, veri silme, dış iletişim veya geri döndürülmesi zor işlemler insan onayına bağlanabilir.

Audit Log

• Kullanıcı
• Agent
• Tool
• Input
• Output
• Kaynak
• İşlem zamanı
• Approval sonucu

Kill Switch ve Limitler

Agent davranışı anormal hale geldiğinde tool erişiminin kapatılması, işlem sayısının sınırlandırılması veya workflow’un manuel moda alınması mümkün olmalıdır.

AI Sistemini Production Ortamında Nasıl Değerlendirmeli?

AI Agent Güvenliği: Yetki, Veri Erişimi ve Guardrail Tasarımı production ortamına alınmadan önce Least Privilege, Kullanıcı Yetkisini Devralın ve Tool Allowlist için ayrı evaluation setleri hazırlanmalıdır. Yalnız birkaç başarılı demo sorusu üzerinden karar vermek yerine gerçek kullanıcı görevlerinden iyi, kötü ve sınır durum örnekleri oluşturulmalıdır. Her örnek için beklenen davranış, kabul edilebilir hata sınırı ve insan müdahalesi gerekip gerekmediği tanımlanırsa model, retrieval ve workflow değişiklikleri aynı test seti üzerinde karşılaştırılabilir.

Production monitoring klasik uygulama metrikleriyle AI kalite metriklerini birlikte içermelidir. Latency, token veya model maliyeti, tool error ve API timeout teknik tarafta; yanlış kaynak kullanımı, unsupported claim, kullanıcı düzeltmesi, human override ve görev başarısı ise ürün kalitesi tarafında izlenebilir. Model veya prompt sürümü değiştiğinde önceki kalite seviyesinin korunup korunmadığı regression evaluation ile kontrol edilmelidir.

Veri Güvenliği ve Yönetişim Katmanı

Kurumsal AI uygulamasında modele gönderilen veri, retrieval kaynakları, conversation logları ve tool çıktıları ayrı veri akışları olarak ele alınmalıdır. Kişisel veya ticari açıdan hassas veri gereksiz yere prompt içine taşınmamalı; erişim kullanıcı rolüne göre sınırlandırılmalıdır. Hangi model veya hizmet sağlayıcısının kullanıldığı, verinin nerede işlendiği ve logların ne kadar süre tutulduğu kurumun veri koruma ve güvenlik süreçleriyle birlikte değerlendirilmelidir. AI katmanı mevcut yetkilendirme mekanizmalarını bypass eden paralel bir veri erişim kanalı oluşturmamalıdır.

AI Production Kontrol Listesi

• Kullanım senaryosu ve başarı metriği tanımlı mı?
• Evaluation veri seti mevcut mu?
• Prompt, model ve retrieval sürümü izleniyor mu?
• Kullanıcı yetkileri AI katmanına uygulanıyor mu?
• Tool çağrıları schema validation kullanıyor mu?
• Riskli işlemlerde human approval var mı?
• Latency ve model maliyeti ölçülüyor mu?
• Yanlış cevap ve kullanıcı düzeltmeleri sınıflandırılıyor mu?

Failure Taxonomy ve Kontrollü Rollout

AI Agent Güvenliği: Yetki, Veri Erişimi ve Guardrail Tasarımı için başarısızlıkların tek bir “AI yanlış cevap verdi” kategorisinde tutulması kök neden analizini zorlaştırır. Hatalar retrieval problemi, eksik bağlam, yanlış tool seçimi, authorization engeli, hallucination, timeout, schema validation hatası veya kullanıcı talebinin belirsizliği gibi ayrı sınıflara ayrılabilir. Özellikle Least Privilege, Kullanıcı Yetkisini Devralın ve Tool Allowlist katmanlarından hangisinin hataya neden olduğu ölçülebilirse ekip model değiştirmek yerine doğru bileşeni iyileştirebilir. Bu sınıflandırma aynı zamanda evaluation veri setinin zaman içinde gerçek production hatalarıyla zenginleşmesini sağlar.

Yeni model, prompt, retrieval ayarı veya agent workflow değişikliği tüm kullanıcılara aynı anda açılmak zorunda değildir. Önce sınırlı kullanıcı grubunda veya düşük riskli görevlerde rollout yapılabilir; kalite, latency, maliyet ve human escalation metrikleri önceki sürümle karşılaştırılabilir. Kritik metrikler kötüleşirse rollout durdurulmalı ve önceki sürüme geri dönüş mümkün olmalıdır. Bu yaklaşım AI değişikliklerini kontrolsüz prompt düzenlemelerinden çıkarıp versioned ve ölçülebilir release sürecine dönüştürür.

Maliyet ve Kullanım Guardrail’leri

Production AI sistemlerinde kalite kadar kaynak tüketimi de yönetilmelidir. Kullanıcı veya görev bazında token, model çağrısı, tool kullanımı, retrieval hacmi ve işlem süresi izlenebilir. Beklenmeyen loop, gereksiz uzun context veya tekrar eden tool çağrıları hem maliyeti hem latency’yi artırabilir. Maksimum adım sayısı, timeout, context sınırı, model fallback politikası ve kullanıcı başına kullanım limiti gibi guardrail’ler operasyonel kontrol sağlar. Maliyet metriği görev başarı oranıyla birlikte yorumlanmalı; ucuz fakat başarısız veya pahalı fakat gereksiz karmaşık akışlar optimize edilmelidir.

• Failure türlerini ayrı kategorilerde loglayın
• Prompt, model ve workflow sürümünü kayıt altına alın
• Yeni sürümleri kontrollü kullanıcı grubunda test edin
• Rollback kriterlerini önceden belirleyin
• Tool adımı ve işlem süresine limit koyun
• Token ve model maliyetini görev bazında ölçün
• Production hatalarını evaluation setine geri besleyin

Sıkça Sorulan Sorular

Guardrail agent’ı tamamen güvenli yapar mı?

Hayır. Guardrail savunma katmanlarından biridir; authorization, validation ve monitoring ile birlikte kullanılmalıdır.

Agent ayrı servis hesabı kullanmalı mı?

Kullanım senaryosuna göre ayrı ve minimum yetkili kimlikler risk kontrolünü kolaylaştırabilir.

Prompt injection yalnız web kullanan agentlarda mı olur?

Hayır. Belge, e-posta veya başka untrusted content kaynaklarında da oluşabilir.

Agent işlemleri loglanmalı mı?

Evet. Kritik tool ve veri erişimlerinin denetlenebilir olması incident ve audit açısından önemlidir.