Kurumsal AI Asistanı Nasıl Geliştirilir?

Kurumsal AI asistanı yalnız şirket adına cevap veren bir chatbot değildir. Doğru tasarlandığında kurum içi bilgiye erişen, kullanıcı rolünü dikkate alan, gerektiğinde sistemlerden veri alan ve belirli iş akışlarını destekleyen bir uygulama katmanına dönüşebilir.

Başarılı bir proje model seçimiyle değil, hangi kullanıcının hangi işi daha hızlı veya daha doğru yapması gerektiğinin tanımlanmasıyla başlamalıdır.

Kullanım Senaryosunu Daraltın

İlk sürümde tüm şirketi kapsayan genel asistan yerine belirli ekip ve görev seçmek değerlendirmeyi kolaylaştırır. Örneğin ürün dokümanı arama, müşteri hizmetleri yanıt desteği veya iç prosedür sorgulama ayrı kullanım senaryolarıdır.

Başarı kriteri de kullanım senaryosuna göre görev tamamlama süresi, doğru kaynak kullanımı veya insan müdahalesi gibi ölçülerle tanımlanabilir.

Bilgi Kaynaklarını Haritalayın

Dosyalar, wiki, CRM, ticket sistemi, veri tabanı ve diğer kurumsal kaynakların hangilerinin asistana açılacağı belirlenmelidir.

Her kaynağın güncellik, erişim yetkisi ve veri sınıfı aynı değildir.

RAG Gerekiyor mu?

Modelin şirket içi güncel bilgiye dayanması gerekiyorsa Retrieval-Augmented Generation yaklaşımı kullanılabilir. Ancak her görev için vector database veya RAG zorunlu değildir.

Yetkilendirme

Kullanıcının şirkette göremediği belgeyi AI üzerinden de görmemesi gerekir. Retrieval ve tool katmanında authorization uygulanmalıdır.

Tool ve Action Katmanı

Asistan yalnız cevap üretmek yerine CRM kaydı sorgulama, destek kaydı açma veya rapor hazırlama gibi kontrollü tool çağrıları yapabilir.

Yazma veya dış sisteme işlem yapan tool’larda insan onayı ve işlem sınırları ayrıca tasarlanmalıdır.

Conversation Memory

Konuşma geçmişinin ne kadar tutulacağı ve hangi bilginin oturumlar arasında taşınacağı gizlilik ve ürün ihtiyacına göre belirlenmelidir.

Evaluation

• Görev başarı oranı
• Doğru kaynak kullanımı
• Unsupported claim
• Yanlış tool çağrısı
• Latency
• Kullanıcı düzeltmesi
• Human escalation

Pilot ve Yaygınlaştırma

Dar kapsamlı pilot gerçek kullanıcılarla test edilmeli; başarısız örnekler kategorilere ayrılarak prompt, retrieval, yetki veya veri kalitesi katmanına geri beslenmelidir.

AI Sistemini Production Ortamında Nasıl Değerlendirmeli?

Kurumsal AI Asistanı Nasıl Geliştirilir? production ortamına alınmadan önce Kullanım Senaryosunu Daraltın, Bilgi Kaynaklarını Haritalayın ve RAG Gerekiyor mu? için ayrı evaluation setleri hazırlanmalıdır. Yalnız birkaç başarılı demo sorusu üzerinden karar vermek yerine gerçek kullanıcı görevlerinden iyi, kötü ve sınır durum örnekleri oluşturulmalıdır. Her örnek için beklenen davranış, kabul edilebilir hata sınırı ve insan müdahalesi gerekip gerekmediği tanımlanırsa model, retrieval ve workflow değişiklikleri aynı test seti üzerinde karşılaştırılabilir.

Production monitoring klasik uygulama metrikleriyle AI kalite metriklerini birlikte içermelidir. Latency, token veya model maliyeti, tool error ve API timeout teknik tarafta; yanlış kaynak kullanımı, unsupported claim, kullanıcı düzeltmesi, human override ve görev başarısı ise ürün kalitesi tarafında izlenebilir. Model veya prompt sürümü değiştiğinde önceki kalite seviyesinin korunup korunmadığı regression evaluation ile kontrol edilmelidir.

Veri Güvenliği ve Yönetişim Katmanı

Kurumsal AI uygulamasında modele gönderilen veri, retrieval kaynakları, conversation logları ve tool çıktıları ayrı veri akışları olarak ele alınmalıdır. Kişisel veya ticari açıdan hassas veri gereksiz yere prompt içine taşınmamalı; erişim kullanıcı rolüne göre sınırlandırılmalıdır. Hangi model veya hizmet sağlayıcısının kullanıldığı, verinin nerede işlendiği ve logların ne kadar süre tutulduğu kurumun veri koruma ve güvenlik süreçleriyle birlikte değerlendirilmelidir. AI katmanı mevcut yetkilendirme mekanizmalarını bypass eden paralel bir veri erişim kanalı oluşturmamalıdır.

AI Production Kontrol Listesi

• Kullanım senaryosu ve başarı metriği tanımlı mı?
• Evaluation veri seti mevcut mu?
• Prompt, model ve retrieval sürümü izleniyor mu?
• Kullanıcı yetkileri AI katmanına uygulanıyor mu?
• Tool çağrıları schema validation kullanıyor mu?
• Riskli işlemlerde human approval var mı?
• Latency ve model maliyeti ölçülüyor mu?
• Yanlış cevap ve kullanıcı düzeltmeleri sınıflandırılıyor mu?

Failure Taxonomy ve Kontrollü Rollout

Kurumsal AI Asistanı Nasıl Geliştirilir? için başarısızlıkların tek bir “AI yanlış cevap verdi” kategorisinde tutulması kök neden analizini zorlaştırır. Hatalar retrieval problemi, eksik bağlam, yanlış tool seçimi, authorization engeli, hallucination, timeout, schema validation hatası veya kullanıcı talebinin belirsizliği gibi ayrı sınıflara ayrılabilir. Özellikle Kullanım Senaryosunu Daraltın, Bilgi Kaynaklarını Haritalayın ve RAG Gerekiyor mu? katmanlarından hangisinin hataya neden olduğu ölçülebilirse ekip model değiştirmek yerine doğru bileşeni iyileştirebilir. Bu sınıflandırma aynı zamanda evaluation veri setinin zaman içinde gerçek production hatalarıyla zenginleşmesini sağlar.

Yeni model, prompt, retrieval ayarı veya agent workflow değişikliği tüm kullanıcılara aynı anda açılmak zorunda değildir. Önce sınırlı kullanıcı grubunda veya düşük riskli görevlerde rollout yapılabilir; kalite, latency, maliyet ve human escalation metrikleri önceki sürümle karşılaştırılabilir. Kritik metrikler kötüleşirse rollout durdurulmalı ve önceki sürüme geri dönüş mümkün olmalıdır. Bu yaklaşım AI değişikliklerini kontrolsüz prompt düzenlemelerinden çıkarıp versioned ve ölçülebilir release sürecine dönüştürür.

Maliyet ve Kullanım Guardrail’leri

Production AI sistemlerinde kalite kadar kaynak tüketimi de yönetilmelidir. Kullanıcı veya görev bazında token, model çağrısı, tool kullanımı, retrieval hacmi ve işlem süresi izlenebilir. Beklenmeyen loop, gereksiz uzun context veya tekrar eden tool çağrıları hem maliyeti hem latency’yi artırabilir. Maksimum adım sayısı, timeout, context sınırı, model fallback politikası ve kullanıcı başına kullanım limiti gibi guardrail’ler operasyonel kontrol sağlar. Maliyet metriği görev başarı oranıyla birlikte yorumlanmalı; ucuz fakat başarısız veya pahalı fakat gereksiz karmaşık akışlar optimize edilmelidir.

• Failure türlerini ayrı kategorilerde loglayın
• Prompt, model ve workflow sürümünü kayıt altına alın
• Yeni sürümleri kontrollü kullanıcı grubunda test edin
• Rollback kriterlerini önceden belirleyin
• Tool adımı ve işlem süresine limit koyun
• Token ve model maliyetini görev bazında ölçün
• Production hatalarını evaluation setine geri besleyin

Sıkça Sorulan Sorular

Kurumsal AI asistanı için kendi modelimizi eğitmek gerekir mi?

Çoğu kullanım senaryosunda zorunlu değildir. Mevcut modeller RAG, prompt ve tool katmanlarıyla kullanılabilir.

AI asistanı şirket verilerine nasıl erişir?

Onaylanan veri kaynakları API, retrieval veya kontrollü entegrasyon katmanı üzerinden bağlanabilir.

Asistan doğrudan işlem yapmalı mı?

Riskli veya geri döndürülmesi zor işlemlerde human approval uygulanması daha güvenli olabilir.

Başarı nasıl ölçülür?

Görev başarı oranı, kullanıcı düzeltmesi, kaynak doğruluğu, işlem süresi ve escalation metrikleri birlikte değerlendirilebilir.