Kurumsal AI Sistemlerinde Human-in-the-Loop Nasıl Tasarlanır?

Human-in-the-loop, AI sisteminin her çıktısının insan tarafından tek tek onaylanması anlamına gelmez. Amaç risk, belirsizlik ve iş etkisine göre insan kontrolünün doğru noktaya yerleştirilmesidir.

İyi tasarlanmış modelde düşük riskli ve yüksek güvenli işlemler otomatik ilerlerken belirsiz veya yüksek etkili vakalar incelemeye yönlendirilebilir.

Risk Sınıfları Oluşturun

İşlemler geri döndürülebilirlik, finansal etki, kişisel veri, müşteri etkisi ve hukuki sonuç açısından sınıflandırılabilir.

Confidence Tek Başına Yeterli Değildir

Model confidence veya benzeri skor kullanılsa bile iş kuralı ve risk seviyesi ayrıca değerlendirilmelidir.

Approval Gate

AI tarafından hazırlanan e-posta, CRM değişikliği veya dış sistem aksiyonu kullanıcı onayı sonrasında çalıştırılabilir.

Exception Queue

Belirsiz veya kural dışı vakalar uzman kullanıcının görebileceği sıraya alınmalı; neden review gerektiği açıkça gösterilmelidir.

Sampling

Tam otomatik akışlarda bile belirli oranda rastgele çıktı örneklemesi kalite bozulmasını erken fark etmeye yardımcı olabilir.

Escalation

AI veya ilk review seviyesinin çözemediği olaylar uzman veya yönetici seviyesine taşınabilir.

Feedback Capture

Kullanıcının yaptığı düzeltmenin yalnız nihai metin olarak değil hata kategorisi olarak kaydedilmesi evaluation verisi üretir.

HITL KPI’ları

• Review oranı
• Approval oranı
• Düzeltme oranı
• False positive
• Escalation
• Review süresi
• Otomasyon oranı

AI Sistemini Production Ortamında Nasıl Değerlendirmeli?

Kurumsal AI Sistemlerinde Human-in-the-Loop Nasıl Tasarlanır? production ortamına alınmadan önce Risk Sınıfları Oluşturun, Confidence Tek Başına Yeterli Değildir ve Approval Gate için ayrı evaluation setleri hazırlanmalıdır. Yalnız birkaç başarılı demo sorusu üzerinden karar vermek yerine gerçek kullanıcı görevlerinden iyi, kötü ve sınır durum örnekleri oluşturulmalıdır. Her örnek için beklenen davranış, kabul edilebilir hata sınırı ve insan müdahalesi gerekip gerekmediği tanımlanırsa model, retrieval ve workflow değişiklikleri aynı test seti üzerinde karşılaştırılabilir.

Production monitoring klasik uygulama metrikleriyle AI kalite metriklerini birlikte içermelidir. Latency, token veya model maliyeti, tool error ve API timeout teknik tarafta; yanlış kaynak kullanımı, unsupported claim, kullanıcı düzeltmesi, human override ve görev başarısı ise ürün kalitesi tarafında izlenebilir. Model veya prompt sürümü değiştiğinde önceki kalite seviyesinin korunup korunmadığı regression evaluation ile kontrol edilmelidir.

Veri Güvenliği ve Yönetişim Katmanı

Kurumsal AI uygulamasında modele gönderilen veri, retrieval kaynakları, conversation logları ve tool çıktıları ayrı veri akışları olarak ele alınmalıdır. Kişisel veya ticari açıdan hassas veri gereksiz yere prompt içine taşınmamalı; erişim kullanıcı rolüne göre sınırlandırılmalıdır. Hangi model veya hizmet sağlayıcısının kullanıldığı, verinin nerede işlendiği ve logların ne kadar süre tutulduğu kurumun veri koruma ve güvenlik süreçleriyle birlikte değerlendirilmelidir. AI katmanı mevcut yetkilendirme mekanizmalarını bypass eden paralel bir veri erişim kanalı oluşturmamalıdır.

AI Production Kontrol Listesi

• Kullanım senaryosu ve başarı metriği tanımlı mı?
• Evaluation veri seti mevcut mu?
• Prompt, model ve retrieval sürümü izleniyor mu?
• Kullanıcı yetkileri AI katmanına uygulanıyor mu?
• Tool çağrıları schema validation kullanıyor mu?
• Riskli işlemlerde human approval var mı?
• Latency ve model maliyeti ölçülüyor mu?
• Yanlış cevap ve kullanıcı düzeltmeleri sınıflandırılıyor mu?

Failure Taxonomy ve Kontrollü Rollout

Kurumsal AI Sistemlerinde Human-in-the-Loop Nasıl Tasarlanır? için başarısızlıkların tek bir “AI yanlış cevap verdi” kategorisinde tutulması kök neden analizini zorlaştırır. Hatalar retrieval problemi, eksik bağlam, yanlış tool seçimi, authorization engeli, hallucination, timeout, schema validation hatası veya kullanıcı talebinin belirsizliği gibi ayrı sınıflara ayrılabilir. Özellikle Risk Sınıfları Oluşturun, Confidence Tek Başına Yeterli Değildir ve Approval Gate katmanlarından hangisinin hataya neden olduğu ölçülebilirse ekip model değiştirmek yerine doğru bileşeni iyileştirebilir. Bu sınıflandırma aynı zamanda evaluation veri setinin zaman içinde gerçek production hatalarıyla zenginleşmesini sağlar.

Yeni model, prompt, retrieval ayarı veya agent workflow değişikliği tüm kullanıcılara aynı anda açılmak zorunda değildir. Önce sınırlı kullanıcı grubunda veya düşük riskli görevlerde rollout yapılabilir; kalite, latency, maliyet ve human escalation metrikleri önceki sürümle karşılaştırılabilir. Kritik metrikler kötüleşirse rollout durdurulmalı ve önceki sürüme geri dönüş mümkün olmalıdır. Bu yaklaşım AI değişikliklerini kontrolsüz prompt düzenlemelerinden çıkarıp versioned ve ölçülebilir release sürecine dönüştürür.

Maliyet ve Kullanım Guardrail’leri

Production AI sistemlerinde kalite kadar kaynak tüketimi de yönetilmelidir. Kullanıcı veya görev bazında token, model çağrısı, tool kullanımı, retrieval hacmi ve işlem süresi izlenebilir. Beklenmeyen loop, gereksiz uzun context veya tekrar eden tool çağrıları hem maliyeti hem latency’yi artırabilir. Maksimum adım sayısı, timeout, context sınırı, model fallback politikası ve kullanıcı başına kullanım limiti gibi guardrail’ler operasyonel kontrol sağlar. Maliyet metriği görev başarı oranıyla birlikte yorumlanmalı; ucuz fakat başarısız veya pahalı fakat gereksiz karmaşık akışlar optimize edilmelidir.

• Failure türlerini ayrı kategorilerde loglayın
• Prompt, model ve workflow sürümünü kayıt altına alın
• Yeni sürümleri kontrollü kullanıcı grubunda test edin
• Rollback kriterlerini önceden belirleyin
• Tool adımı ve işlem süresine limit koyun
• Token ve model maliyetini görev bazında ölçün
• Production hatalarını evaluation setine geri besleyin

Sıkça Sorulan Sorular

Human-in-the-loop otomasyonu yavaşlatır mı?

Her işlemi review etmek yavaşlatabilir; risk bazlı tasarım yalnız gerekli vakaları insana yönlendirir.

AI confidence değeri yeterli mi?

Hayır. İş etkisi ve risk sınıfı da değerlendirilmelidir.

Sampling neden yapılır?

Otomatik akıştaki kalite değişimini insan review üzerinden izlemeyi sağlar.

Kullanıcı düzeltmeleri nasıl kullanılmalı?

Evaluation, prompt, retrieval veya workflow iyileştirmesine geri beslenebilir.