Şirket Verileriyle RAG Sistemi Nasıl Kurulur?

Retrieval-Augmented Generation, üretken modelin cevap üretmeden önce kurumsal veri kaynaklarından ilgili bağlamı bulmasını sağlar.

RAG sistemi yalnız belgeleri vector database içine yüklemek değildir. Veri hazırlama, erişim kontrolü, retrieval kalitesi, kaynak gösterimi ve evaluation birlikte tasarlanmalıdır.

Kaynak Envanteri

Politika, prosedür, teknik doküman, ürün bilgisi, destek içeriği veya sözleşme gibi kaynaklar önce envanterlenmelidir.

Güncel olmayan veya birbiriyle çelişen belgeler retrieval kalitesini doğrudan etkiler.

Document Parsing

PDF, Word, HTML veya başka formatlardan metin çıkarılırken başlık, tablo, liste ve bölüm yapısının mümkün olduğunca korunması gerekir.

Chunking

Çok küçük chunk bağlamı kaybettirebilir, çok büyük chunk ise retrieval hassasiyetini düşürebilir. Bölüm, başlık ve semantik yapı dikkate alınmalıdır.

Embedding ve Index

Chunk’lar embedding vektörlerine dönüştürülerek arama indexine alınabilir. Metadata içinde kaynak, bölüm, tarih, departman ve erişim seviyesi tutulabilir.

Hybrid Retrieval

Sadece semantic vector search yerine keyword/BM25 benzeri lexical arama ile semantic arama birlikte kullanılabilir.

Reranking

İlk retrieval sonucundaki adaylar ikinci bir ranking katmanıyla yeniden sıralanabilir ve modele yalnız en ilgili bağlam gönderilebilir.

Citation ve Provenance

Kullanıcı cevabın hangi dokümana dayandığını görebilmelidir. Kaynak adı, bölüm ve gerektiğinde doğrudan belge bağlantısı gösterilebilir.

RAG Evaluation

• Retrieval recall
• Context precision
• Answer correctness
• Groundedness
• Unsupported claim
• Citation accuracy
• Latency

AI Sistemini Production Ortamında Nasıl Değerlendirmeli?

Şirket Verileriyle RAG Sistemi Nasıl Kurulur? production ortamına alınmadan önce Kaynak Envanteri, Document Parsing ve Chunking için ayrı evaluation setleri hazırlanmalıdır. Yalnız birkaç başarılı demo sorusu üzerinden karar vermek yerine gerçek kullanıcı görevlerinden iyi, kötü ve sınır durum örnekleri oluşturulmalıdır. Her örnek için beklenen davranış, kabul edilebilir hata sınırı ve insan müdahalesi gerekip gerekmediği tanımlanırsa model, retrieval ve workflow değişiklikleri aynı test seti üzerinde karşılaştırılabilir.

Production monitoring klasik uygulama metrikleriyle AI kalite metriklerini birlikte içermelidir. Latency, token veya model maliyeti, tool error ve API timeout teknik tarafta; yanlış kaynak kullanımı, unsupported claim, kullanıcı düzeltmesi, human override ve görev başarısı ise ürün kalitesi tarafında izlenebilir. Model veya prompt sürümü değiştiğinde önceki kalite seviyesinin korunup korunmadığı regression evaluation ile kontrol edilmelidir.

Veri Güvenliği ve Yönetişim Katmanı

Kurumsal AI uygulamasında modele gönderilen veri, retrieval kaynakları, conversation logları ve tool çıktıları ayrı veri akışları olarak ele alınmalıdır. Kişisel veya ticari açıdan hassas veri gereksiz yere prompt içine taşınmamalı; erişim kullanıcı rolüne göre sınırlandırılmalıdır. Hangi model veya hizmet sağlayıcısının kullanıldığı, verinin nerede işlendiği ve logların ne kadar süre tutulduğu kurumun veri koruma ve güvenlik süreçleriyle birlikte değerlendirilmelidir. AI katmanı mevcut yetkilendirme mekanizmalarını bypass eden paralel bir veri erişim kanalı oluşturmamalıdır.

AI Production Kontrol Listesi

• Kullanım senaryosu ve başarı metriği tanımlı mı?
• Evaluation veri seti mevcut mu?
• Prompt, model ve retrieval sürümü izleniyor mu?
• Kullanıcı yetkileri AI katmanına uygulanıyor mu?
• Tool çağrıları schema validation kullanıyor mu?
• Riskli işlemlerde human approval var mı?
• Latency ve model maliyeti ölçülüyor mu?
• Yanlış cevap ve kullanıcı düzeltmeleri sınıflandırılıyor mu?

Failure Taxonomy ve Kontrollü Rollout

Şirket Verileriyle RAG Sistemi Nasıl Kurulur? için başarısızlıkların tek bir “AI yanlış cevap verdi” kategorisinde tutulması kök neden analizini zorlaştırır. Hatalar retrieval problemi, eksik bağlam, yanlış tool seçimi, authorization engeli, hallucination, timeout, schema validation hatası veya kullanıcı talebinin belirsizliği gibi ayrı sınıflara ayrılabilir. Özellikle Kaynak Envanteri, Document Parsing ve Chunking katmanlarından hangisinin hataya neden olduğu ölçülebilirse ekip model değiştirmek yerine doğru bileşeni iyileştirebilir. Bu sınıflandırma aynı zamanda evaluation veri setinin zaman içinde gerçek production hatalarıyla zenginleşmesini sağlar.

Yeni model, prompt, retrieval ayarı veya agent workflow değişikliği tüm kullanıcılara aynı anda açılmak zorunda değildir. Önce sınırlı kullanıcı grubunda veya düşük riskli görevlerde rollout yapılabilir; kalite, latency, maliyet ve human escalation metrikleri önceki sürümle karşılaştırılabilir. Kritik metrikler kötüleşirse rollout durdurulmalı ve önceki sürüme geri dönüş mümkün olmalıdır. Bu yaklaşım AI değişikliklerini kontrolsüz prompt düzenlemelerinden çıkarıp versioned ve ölçülebilir release sürecine dönüştürür.

Maliyet ve Kullanım Guardrail’leri

Production AI sistemlerinde kalite kadar kaynak tüketimi de yönetilmelidir. Kullanıcı veya görev bazında token, model çağrısı, tool kullanımı, retrieval hacmi ve işlem süresi izlenebilir. Beklenmeyen loop, gereksiz uzun context veya tekrar eden tool çağrıları hem maliyeti hem latency’yi artırabilir. Maksimum adım sayısı, timeout, context sınırı, model fallback politikası ve kullanıcı başına kullanım limiti gibi guardrail’ler operasyonel kontrol sağlar. Maliyet metriği görev başarı oranıyla birlikte yorumlanmalı; ucuz fakat başarısız veya pahalı fakat gereksiz karmaşık akışlar optimize edilmelidir.

• Failure türlerini ayrı kategorilerde loglayın
• Prompt, model ve workflow sürümünü kayıt altına alın
• Yeni sürümleri kontrollü kullanıcı grubunda test edin
• Rollback kriterlerini önceden belirleyin
• Tool adımı ve işlem süresine limit koyun
• Token ve model maliyetini görev bazında ölçün
• Production hatalarını evaluation setine geri besleyin

Sıkça Sorulan Sorular

RAG fine-tuning ile aynı şey midir?

Hayır. RAG cevap sırasında harici bilgi getirir; fine-tuning model davranışını veya bilgisini eğitim yoluyla değiştirir.

Her belge vector database’e eklenmeli mi?

Hayır. Güncellik, yetki ve kullanım değeri açısından seçilmelidir.

RAG hallucination sorununu tamamen çözer mi?

Hayır. Riski azaltabilir ancak evaluation ve cevap sınırları yine gereklidir.

Metadata filter neden önemlidir?

Tarih, departman veya kullanıcı yetkisine göre uygun kaynakları retrieval aşamasında filtrelemeyi sağlar.